[논문 리뷰] Mutual Information and Diverse Decoding Improve Neural Machine Translation

Jiwei Li, Dan Jurafsky|arXiv (Cornell University)|2016. 01. 04.

Natural Language Processing Techniques참고 문헌 39인용 수 98

한 줄 요약

이 논문은 재정렬을 통한 상호정보(mutual information) 목표와 다양성 촉진 디코딩 방법을 도입하여 신경 기계 번역의 성능을 개선하고, 표준 및 어텐션 기반 모델에서 WMT14 EN-DE 및 EN-FR에서 BLEU 점수를 향상시켰다.

ABSTRACT

Sequence-to-sequence neural translation models learn semantic and syntactic relations between sentence pairs by optimizing the likelihood of the target given the source, i.e., $p(y|x)$, an objective that ignores other potentially useful sources of information. We introduce an alternative objective function for neural MT that maximizes the mutual information between the source and target sentences, modeling the bi-directional dependency of sources and targets. We implement the model with a simple re-ranking method, and also introduce a decoding algorithm that increases diversity in the N-best list produced by the first pass. Applied to the WMT German/English and French/English tasks, the proposed models offers a consistent performance boost on both standard LSTM and attention-based neural MT architectures.

연구 동기 및 목표

• Seq2Seq MT에서 단방향 p(y|x) 학습의 한계에 대한 동기 부여 및 해결
• 양방향 의존성 포착을 위해 p(x|y)를 포함하는 상호 정보 목표를 모델링하고 평가
• 더 다양한 고품질 번역을 얻기 위한 디코딩 다양성 향상
• 표준 및 어텐션 기반 NMT 아키텍처에서 WMT14 EN→DE, EN→FR, DE→EN에 대한 실험적 이득 시연

제안 방법

• 두 개의 독립적인 Seq2Seq 모델을 학습시켜 p(y|x)와 p(x|y)를 학습
• 빔 검색으로 p(y|x)에서 N-best를 생성하고 log p(x|y)로 재정렬
• 첫 번째 패스 N-best 리스트의 다양성을 촉진하기 위해 다양성 인식 빔 서치를 적용(상위 계층의 자식들을 페널티)
• 최종 후보를 log p(y|x), log p(x|y), log p(y), 그리고 목표 길이의 선형 결합으로 재정렬하여 BLEU를 MERT로 최적화
• attention 모델의 정렬을 사용한 미확정 단어(UNK) 처리 개선
• 표준 Seq2Seq 및 어텐션 기반 모델로 WMT’14 EN↔DE 및 EN↔FR 평가

실험 결과

연구 질문

• RQ1 상호 정보 목표를 통해 p(x|y)를 포함시키는 것이 표준 p(y|x) 모델에 비해 번역 품질을 개선하는가?
• RQ2 다양성 촉진 디코딩 전략이 재정렬을 위한 더 다양하고 고품질의 번역 가설을 산출하는가?
• RQ3 다양성 디코딩과 MI 재정렬이 다른 아키텍처(표준 vs. 어텐션 기반) 및 언어 쌍(EN-DE, EN-FR, DE-EN)에 걸쳐 어떤 영향을 미치는가?

주요 결과

• 상호정보(p(y|x)와 p(x|y))로 재정렬하는 것이 표준 모델에 비해 BLEU를 향상시킨다
• 다양성 촉진 디코딩이 N-best 리스트의 다양성(Distinct-1 및 Distinct-2)을 증가시키고 추가 BLEU 이득에 기여
• UNK 대체가 BLEU를 크게 향상시키며 특히 EN-DE 및 EN-FR 결과에서 두드러진다
• 다양성 디코딩과 MI 재정렬은 EN-DE 및 EN-FR에서 표준 모델 대비 최대 약 +2.1에서 +2.6 BLEU 포인트의 전반적 이득을 나타낸다
• MI와 다양성 디코딩을 적용한 어텐션 기반 모델은 연구에서 보고된 최고 BLEU 점수에 도달(예: FR→EN에서 모든 특징 포함 시 최대 36.3)