[논문 리뷰] Fill in the Blanks: Imputing Missing Sentences for Larger-Context Neural Machine Translation

Sébastien Jean, Ankur Bapna외 1명|arXiv (Cornell University)|2019. 10. 30.

Natural Language Processing Techniques참고 문헌 31인용 수 5

한 줄 요약

이 논문은 랜덤 컨텍스트, 부분 복사 히우리스틱, 또는 언어 모델에 의해 생성된 컨텍스트와 같은 기법을 사용하여 문서 수준의 신경 기계 번역에서 누락된 맥락을 보완하는 것을 제안한다. 복사 히우리스틱은 어휘 일관성과 장거리 현상 처리에 크게 기여하지만, 랜덤 컨텍스트는 유사한 BLEU 점수에도 불구하고 성능을 떨어뜨린다. 반대로, 백트랜스레이션은 BLEU 점수와 도전 셋 성능을 모두 향상시킨다.

ABSTRACT

Most neural machine translation systems still translate sentences in isolation. To make further progress, a promising line of research additionally considers the surrounding context in order to provide the model potentially missing source-side information, as well as to maintain a coherent output. One difficulty in training such larger-context (i.e. document-level) machine translation systems is that context may be missing from many parallel examples. To circumvent this issue, two-stage approaches, in which sentence-level translations are post-edited in context, have recently been proposed. In this paper, we instead consider the viability of filling in the missing context. In particular, we consider three distinct approaches to generate the missing context: using random contexts, applying a copy heuristic or generating it with a language model. In particular, the copy heuristic significantly helps with lexical coherence, while using completely random contexts hurts performance on many long-distance linguistic phenomena. We also validate the usefulness of tagged back-translation. In addition to improving BLEU scores as expected, using back-translated data helps larger-context machine translation systems to better capture long-range phenomena.

연구 동기 및 목표

• 병렬 데이터에서 부분적으로만 맥락이 제공될 때 문서 수준의 신경 기계 번역을 훈련하는 데 있어 발생하는 과제를 해결하기 위해.
• 표준 BLEU 점수 이외의 성능에 영향을 미치는 다양한 맥락 보정 기법의 영향을 평가하기 위해.
• 문서 수준 번역에서 장거리 언어 현상의 모델링을 향상시키기 위해 태그된 백트랜스레이션의 효과를 검증하기 위해.
• BLEU 점수가 유사하게 유지되더라도 특정 언어 현상에 대해 모델 행동에 큰 영향을 미치는 데이터 보완 기법의 중요성을 입증하기 위해.

제안 방법

• 기본값으로 랜덤 문장 쌍을 사용해 누락된 소스 측 맥락을 보정하기 위해.
• 동일한 소스-타겟 쌍을 여러 번 복사하고 랜덤 문장을 조합하여 어휘 일관성을 향상시키는 부분 복사 히우리스틱을 적용하기 위해.
• 언어 모델을 사용해 타겟 측 맥락을 생성하고, 이를 백트랜슬레이션하여 소스 측 맥락을 확보하기 위해.
• 훈련 데이터에서 유사한 문장 쌍을 검색하여 누락된 예시의 맥락으로 활용하기 위해.
• 원본 데이터와 보정된 데이터를 모두 사용해 맥락 인식 모델을 훈련하고, 백트랜슬레이션을 통해 훈련 세트를 증강하기 위해.
• 특정 장거리 현상인 지시어, 어휘 일관성, 생략 등을 타겟으로 하는 도전 셋에서 모델을 평가하기 위해.

실험 결과

연구 질문

• RQ1 누락된 맥락을 보정하는 것이 표준 BLEU 점수 이외의 문서 수준 기계 번역 성능에 어떤 영향을 미치는가?
• RQ2 랜덤, 복사 히우리스틱, 언어 모델 생성 중 어느 맥락 보정 기법이 장거리 언어 현상에서 가장 높은 성능을 낼 수 있는가?
• RQ3 태그된 백트랜슬레이션은 문서 수준 번역에서 문장 간 의존성 모델링을 어느 정도 향상시키는가?
• RQ4 랜덤 맥락을 사용할 경우 도전 셋에서 명백한 부정적 영향이 있음에도 불구하고 BLEU 점수가 성능 저하를 포착하지 못하는 이유는 무엇인가?
• RQ5 어휘 일관성을 포착하는 데 있어 더 복잡한 맥락 생성 방법보다 단순한 복사 히우리스틱이 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 부분 복사 히우리스틱은 90.1%의 어휘 일관성 정확도를 기록하여 랜덤 맥락 및 베이스라인 모델을 크게 앞서간다.
• 랜덤 맥락을 사용하면 도전 셋 평균에서 성능이 3.65% 감소하지만, BLEU 점수에는 미미한 영향을 미친다.
• 백트랜슬레이션은 모든 네 개의 도전 셋에서 성능을 향상시키며, 맥락 증강과 함께 사용할 경우 모든 테스트 세트에서 정확도가 86.1% 이상에 이른다.
• 복사 히우리스틱을 사용해 훈련된 맥락 인식 모델은 어휘 일관성에서 더 빠르게 학습하고 일반화 성능이 더 뛰어나 랜덤 또는 생성된 맥락을 사용하는 모델보다 우수하다.
• 문서 수준 번역에서 지시어 도전 셋에서 DocRepair 모델(후처리 기반 접근법)이 91.8% 대비 89.6%로 모든 단일 패assing 모델을 앞서지만, 어휘 일관성과 VP 생략 측면에선 단일 패assing 모델이 여전히 승리한다.
• 더 큰 모델과 백트랜슬레이션을 사용하더라도 랜덤 맥락을 사용해 훈련된 모델는 여전히 도전 셋에서 성능이 열등하여, 장거리 현상에 있어서 데이터 품질이 매우 중요함을 시사한다.