[논문 리뷰] Agreement-based Joint Training for Bidirectional Attention-based Neural Machine Translation

Yong Cheng, Shiqi Shen외 5명|arXiv (Cornell University)|2015. 12. 15.

Natural Language Processing Techniques참고 문헌 15인용 수 20

한 줄 요약

이 논문은 양방향 어휘 주의 기반 신경 기계 번역을 위한 합의 기반 공동 학습을 제안한다. 여기서는 원천 언어에서 목표 언어로, 그리고 목표 언어에서 원천 언어로의 번역 모델이 어휘 일치 행렬에서 일치하도록 공동 최적화된다. 가능도 목표와 어휘 일치 합의 손실를 조합함으로써, 독립 학습에 비해 중국어-영어 및 영어-프랑스어 작업에서 어휘 일치 정확도와 번역 품질이 크게 향상된다.

ABSTRACT

The attentional mechanism has proven to be effective in improving end-to-end neural machine translation. However, due to the intricate structural divergence between natural languages, unidirectional attention-based models might only capture partial aspects of attentional regularities. We propose agreement-based joint training for bidirectional attention-based end-to-end neural machine translation. Instead of training source-to-target and target-to-source translation models independently,our approach encourages the two complementary models to agree on word alignment matrices on the same training data. Experiments on Chinese-English and English-French translation tasks show that agreement-based joint training significantly improves both alignment and translation quality over independent training.

연구 동기 및 목표

• 언어 간 구조적 차이로 인해 단방향 주의 모델이 주의 패턴의 전반적인 규칙을 포착하지 못하는 한계를 해결하기 위해.
• 양방향 모델에서 유용한 정보를 활용하여 신경 기계 번역에서 어휘 일치 정확도를 향상시키기 위해.
• 학습 중 원천-목표 및 목표-원천 어휘 일치 행렬 간 일관성을 강제하여 번역 품질을 향상시키기 위해.
• 이전에 어휘 일치에 사용된 합의 기반 학습을, 종단간 NMT에서 미분 가능하고 파rameter화된 주의 행렬에 적용하기 위해.

제안 방법

• 원천-목표 및 목표-원천 번역을 위한 별도의 RNN 기반 NMT 모델을 학습한다.
• 두 모델의 가능도와 그들의 어휘 일치 행렬 간의 합의 항을 조합한 공동 학습 목표를 정의한다.
• 같은 훈련 문장 쌍에 대해 두 모델이 생성한 어휘 일치 행렬 간 일치를 측정하기 위해 미분 가능한 합의 손실을 사용한다.
• 확률적 경사 하강법을 사용하여 병합된 목표를 최적화하며, 기울기가 두 모델과 합의 항을 통해 전파되도록 한다.
• 각 원천 단어의 전방 및 후방 맥락을 포착하기 위해 인코더에 양방향 RNN을 적용한다.
• 아키텍처 변경 없이도 RNNsearch와 같은 표준 NMT 프레임워크에 적용할 수 있다.

실험 결과

연구 질문

• RQ1 양방향 주의 기반 NMT 모델을 공동 학습시키면 독립 학습에 비해 어휘 일치 정확도가 향상되는가?
• RQ2 원천-목표 및 목표-원천 어휘 일치 행렬 간 합의를 강제하면 번역 품질이 향상되는가?
• RQ3 합의 기반 공동 학습은 특히 저빈도 목표 어휘에 대해 주의 분포에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 중국어-영어 및 영어-프랑스어와 같은 다양한 언어 조합에 효과적인가?

주요 결과

• 합의 기반 공동 학습은 중국어-영어 및 영어-프랑스어 데이터셋에서 독립 학습에 비해 어휘 일치 오차율(AER)을 크게 감소시킨다.
• 모델은 독립 학습 및 Moses 기준선에 비해 영어-프랑스어 작업에서 번역 성능을 크게 향상시킨다.
• 공동 학습 하에서는 주의 엔트로피가 감소하여, 특히 저빈도 목표 어휘에 대해 더 집중적이고 안정된 주의 분포를 나타낸다.
• 공동 학습에서 생성된 어휘 일치 행렬은 독립적으로 학습된 모델의 것보다 더 높은 일치도와 향상된 구조적 일관성을 보인다.
• 어휘 일치 품질 향상과 번역 품질 향상 간 상관관계가 확인되어, 더 나은 어휘 일치가 더 정확한 생성을 이끈다는 것을 시사한다.
• 이 방법은 다양한 언어 조합에 잘 일반화되며, 공동 최적화를 초과해 아키텍처 수정이 필요하지 않다.