[논문 리뷰] End-to-End Lexically Constrained Machine Translation for Morphologically Rich Languages

de Souza Aires, João Paulo, Dušan Variš외 2명|arXiv (Cornell University)|2021. 01. 01.

Natural Language Processing Techniques참고 문헌 32인용 수 11

한 줄 요약

이 논문은 체코어와 같은 형태적 풍부한 언어에서 정확한 어간 변화를 가능하게 하기 위해 훈련 중에 어원형 표면 형태 제약 조건을 사용하는 신경 기계 번역 접근법을 제안한다. 원천 문장과 함께 어원형 어휘를 조건으로 삼아 트랜스포머 모델을 훈련시킴으로써, 동조 오류가 크게 감소한다—기본 모델 대비 77.1%의 제약 표면 형태 커버리지와 100%의 어간 변화 오류 제거를 달성한다.

ABSTRACT

Lexically constrained machine translation allows the user to manipulate the output sentence by enforcing the presence or absence of certain words and phrases. Although current approaches can enforce terms to appear in the translation, they often struggle to make the constraint word form agree with the rest of the generated output. Our manual analysis shows that 46% of the errors in the output of a baseline constrained model for English to Czech translation are related to agreement. We investigate mechanisms to allow neural machine translation to infer the correct word inflection given lemmatized constraints. In particular, we focus on methods based on training the model with constraints provided as part of the input sequence. Our experiments on the English-Czech language pair show that this approach improves the translation of constrained terms in both automatic and manual evaluation by reducing errors in agreement. Our approach thus eliminates inflection errors, without introducing new errors or decreasing the overall quality of the translation.

연구 동기 및 목표

• 형태적 풍부한 언어에서 어원 제약이 있는 신경 기계 번역에서 잘못된 어간 변화 문제를 해결하기 위해.
• 표면 형태 제약 대신 어원형 제약을 사용해 문맥에 맞는 제약 일치를 향상시키기 위해.
• 추론 오버헤드 없이 번역 품질을 저하시키지 않고 어간 변화 오류를 완전히 제거하기 위해.
• 합성 및 실제 용어 통합 시나리오에서 어원형 제약 조건의 효과를 평가하기 위해.

제안 방법

• 훈련 중에 원천 문장에 어원형 표면 형태 제약 조건을 연결하여 트랜스포머 기반 NMT 모델을 훈련한다.
• 어원형 제약 조건을 입력 시퀀스의 일부로 통합하여 모델이 문맥적으로 적절한 어간 형태를 생성하도록 유도한다.
• 표준 NMT 훈련 목표와 표준 크로스 엔트로피 손실을 사용하여 모델이 어간 패턴을 종합적으로 끝내기까지 학습하도록 한다.
• 통합 방법을 비교한다: 원천 문장에 어원형 제약 조건을 연결하는 것과 원천 토큰을 주석화하는 입력 요소를 사용하는 것.
• 유럽의회-체코 테스트 세트를 사용하여 합성 테스트 세트와 실제 용어 통합 작업 모두에서 평가한다.
• 추가 복잡한 디코딩 메커니즘이 없이도 모델의 내재된 언어 모델링 능력을 활용해 표면 형태를 추론한다.

실험 결과

연구 질문

• RQ1 어원형 제약 조건을 사용한 훈련이 형태적 풍부한 언어에서 어원 제약이 있는 신경 기계 번역에서 어간 변화 정확도를 향상시키는가?
• RQ2 표면 형태 제약 조건 대비 어원형 제약 조건을 사용할 경우 동조 오류가 감소하는가?
• RQ3 어휘 커버리지와 유창성 측면에서 어원형 제약 조건 훈련 성능이 기본 제약 디코딩 방법과 비교해 어떻게 되는가?
• RQ4 어원형 제약 조건의 통합 방법(연결 vs. 입력 요소)이 모델이 정확한 어간 형태를 생성하는 데 얼마나 영향을 미치는가?
• RQ5 어원형 제약 조건은 새로운 오류를 유발하지 않고 드문 또는 도메인 특화 용어 번역을 향상시키는가?

주요 결과

• 어원형 제약 조건 모델은 유럽의회 테스트 세트에서 표면 형태 커버리지 77.1%를 달성했으며, 이는 기본 모델(69.9%)과 표면 형태 모델(44%)보다 뚜렷이 높았다.
• 자동 평가에서 오류로 표시된 예시 중 어원형 모델에서는 실제 오류가 8%에 불과했고, 표면 형태 모델에서는 66%에 달해 대부분의 오류가 기준 기반 평가의 산물임을 시사한다.
• 어원형 모델은 모든 어간 변화 오류를 제거했으며(0%의 오류가 잘못된 일치로 인한 것), 표면 형태 모델은 어긋남과 관련된 오류가 전체의 46%를 차지했다.
• 수동 분석 결과, 잘못된 어휘 선택 수가 28개에서 4개로 감소해 어휘 정확도 향상을 보였다.
• 이 방법은 새로운 오류를 유발하지 않고도 높은 제약 커버리지와 정확한 어간 변화를 달성했으며, 추론 비용도 증가하지 않았다.
• 이중어사전을 사용한 드문 단어 번역에서도 효과적이었으며, 자원이 적은 용어 시나리오에서의 강건성을 입증했다.