[논문 리뷰] Does Neural Machine Translation Benefit from Larger Context?

Sébastien Jean, Stanislas Lauly외 2명|arXiv (Cornell University)|2017. 04. 17.

Natural Language Processing Techniques참고 문헌 2인용 수 128

한 줄 요약

논문은 주변 문장을 포함하기 위해 NMT에 더 큰 맥락 인코더/어텐션을 추가한다; 작은 말뭉치에서 BLEU, RIBES, 대명사 예측에서 개선을 얻지만, 더 큰 학습 데이터로는 이 이익이 크게 사라진다.

ABSTRACT

We propose a neural machine translation architecture that models the surrounding text in addition to the source sentence. These models lead to better performance, both in terms of general translation quality and pronoun prediction, when trained on small corpora, although this improvement largely disappears when trained with a larger corpus. We also discover that attention-based neural machine translation is well suited for pronoun prediction and compares favorably with other approaches that were specifically designed for this task.

연구 동기 및 목표

• 더 큰 담론 맥락이 신경 기계 번역 품질을 향상시키는지 조사한다.
• 주변 문장을 인코딩하고 어텐트하는 확장된 어텐션 기반 NMT 모델을 확장한다.
• 표준 번역 지표와 대명사 예측 과제에 대한 더 큰 맥락의 효과를 평가한다.
• 학습 데이터 크기가 더 큰 맥락의 이점을 조절하는지 평가한다.

제안 방법

• Bahdanau 스타일의 어텐션 NMT에 추가 맥락 인코더와 주변 문장에 대한 두 번째 어텐션 메커니즘을 도입한다.
• h_t와 h_t^c 각각을 사용하여 두 개의 소스 표현(주요 소스 어텐션 s_t'와 맥락 어텐션 c_t')을 계산한다.
• 다음 토큰 분포에서 s_t'와 c_t'를 조건화하도록 디코더를 업데이트한다.
• BLEU로 조기 중지와 Adadelta를 사용한 로그 가능도(log-likelihood)로 학습한다.
• 번역 품질은 BLEU 및 RIBES로, 교차 언어 대명사 예측은 매크로 평균 재현율로 평가한다.
• 다양한 학습 데이터 세트 크기(5%, 10%, 20%, 40%, 100%)에서 결과를 보여준다.

실험 결과

연구 질문

• RQ1 선행/후행 소스 문장을 도입하는 것이 BLEU와 RIBES로 측정한 번역 품질을 향상시키는가?
• RQ2 대맥락 MT가 교차 언어 대명사 과제에서 대명사 예측 성능을 향상시키는가?
• RQ3 학습 말뭉치의 크기가 더 큰 맥락 모델링의 이점에 어떤 영향을 미치는가?
• RQ4 대명사 예측 성능이 더 큰 맥락 때문인가, 어간 추출(lemmatization)과 같은 다른 요인 때문인가?

주요 결과

• 더 큰 맥락 NMT는 일반적으로 소규모에서 중간 데이터 크기까지의 vanilla NMT 대비 BLEU 및 RIBES를 개선한다.
• 학습 데이터가 더 큰 말뭉치로 증가하면 더 큰 맥락 모델링의 이점은 감소하고 대부분 사라진다.
• IWSLT En-De(비 어근화, 약 10%의 대명사 말뭉치 크기)에서도 LC-NMT가 NMT를 능가하므로 어간 추출 이상의 이익이 있다.
• 대명사 과제에서 더 작은 학습 세트로 LC-NMT가 vanilla NMT보다 매크로 평균 재현율이 더 높다.
• 대명사 예측 성능이 LC-NMT가 최상위 공유 태스크 시스템에 근접하거나 이를 상회하므로 맥락 인식 MT의 강력한 잠재력을 보인다.
• 전반적으로 더 큰 맥락의 이익은 미미하고 맥락 의존적이므로 담론 효과를 포착하기 위해 더 집중된 평가 지표가 필요할 수 있다.