[논문 리뷰] Modeling Fluency and Faithfulness for Diverse Neural Machine Translation

Yang Feng, Wanying Xie외 5명|arXiv (Cornell University)|2019. 11. 30.

Natural Language Processing Techniques참고 문헌 25인용 수 5

한 줄 요약

이 논문은 교사 강제 학습 기반의 엄격한 예측 분포를 초월해 유창성과 충실도를 고려하는 평가 모듈을 도입함으로써 신경 기계 번역을 위한 새로운 학습 프레임워크를 제안한다. 유창성(맥락적 일관성)과 충실도(의미적 동치성)를 동시에 최적화함으로써, 추가 디코딩 비용 없이도 뛰어난 BLEU 점수와 함께 n-gram 정확도 및 코사인 유사도가 향상되어 강력한 베이스라인을 초월한다.

ABSTRACT

Neural machine translation models usually adopt the teacher forcing strategy for training which requires the predicted sequence matches ground truth word by word and forces the probability of each prediction to approach a 0-1 distribution. However, the strategy casts all the portion of the distribution to the ground truth word and ignores other words in the target vocabulary even when the ground truth word cannot dominate the distribution. To address the problem of teacher forcing, we propose a method to introduce an evaluation module to guide the distribution of the prediction. The evaluation module accesses each prediction from the perspectives of fluency and faithfulness to encourage the model to generate the word which has a fluent connection with its past and future translation and meanwhile tends to form a translation equivalent in meaning to the source. The experiments on multiple translation tasks show that our method can achieve significant improvements over strong baselines.

연구 동기 및 목표

• 모델이 실제 단어를 유일하게 예측하도록 강제하는 교사 강제 학습의 한계를 해결하기 위해, 실제 단어가 확률 분포에서 지배하지 않더라도 예측에 영향을 미치는 것을 고려한다.
• 골드 참조 이외의 다른 타당한 번역을 고려하는 더 유연한 학습 신호를 도입하여 모델 최적화를 향상시킨다.
• 학습 중 예측의 정확성뿐 아니라 유창성과 의미적 충실도까지 평가함으로써 번역 품질을 향상시킨다.
• 학습 중에 동적으로 유창성과 충실도를 균형 잡는 통합 평가 모듈을 개발한다.

제안 방법

• 유창성은 예측된 단어가 이전 및 이후 번역(자체 생성 및 실제 번역)과 함께 나타나는 확률을 계산하여 평가하는 평가 모듈을 도입한다.
• 충실도는 예측된 단어에 해당하는 원본 문장의 내용을 번역할 확률을 주어진 어텐션 기반 확률로 계산하여 평가한다.
• 유창성 및 충실도 점수는 통합 손실 항목으로 조합되며, 이는 기존의 0-1 분포 대신 예측 분포를 지도하는 데 사용된다.
• 모델는 복합 손실을 사용하여 학습되며, 표준 크로스 엔트로피와 평가 기반 손실을 포함하는 사전학습 단계를 거친 후, 새로운 분포 가이던스 손실과 함께 공동 최적화된다.
• 평가 모듈은 학습 가능한 가중치를 사용하여 유창성과 충실도 간의 트레이드오프를 동적으로 조정함으로써 적응형 최적화를 가능하게 한다.
• 이 방법은 트랜스포머 아키텍처에 통합되었으며, 추가 디코딩 단계가 필요 없어 추론 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 유창성과 충실도를 고려하는 학습 시 평가 모듈이 표준 교사 강제 학습을 초월해 신경 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 유창성 및 충실도 지표를 사용해 예측 분포를 가이던스하면, unseen 데이터에 대한 최적화 및 일반화 성능이 향상되는가?
• RQ3 제안된 방법이 n-gram 정확도 및 참조 번역과의 코사인 유사도와 같은 유창성 및 충실도 지표에 얼마나 기여하는가?
• RQ4 이 방법은 디코딩 복잡도를 증가시키지 않고도 더 높은 BLEU 점수를 달성할 수 있는가?

주요 결과

• 기본 모델이 9번째 에포크에 수렴하는 데 비해, 제안된 방법은 13번째 에포크에 수렴하며, 훈련 및 검증 세트에서 모두 더 높은 BLEU 점수를 기록한다.
• CN→EN 번역 작업에서 1-gram 정확도는 79.10에서 79.82로, 3-gram은 35.34에서 36.90으로, 4-gram은 23.82에서 25.28로 향상되어 더 나은 유창성과 참조 n-gram 커버리지가 확보됨을 시사한다.
• 생성된 번역과 참조 번역 간 코사인 유사도는 0.873에서 0.877로 증가하여 의미적 충실도 향상을 입증한다.
• 새로운 손실 항목을 도입한 후 훈련 손실이 크게 감소하였으며, 낮은 손실과 높은 BLEU 점수 간 상관관계가 확인되어 손실 함수가 타당한 최적화 목표임을 확인한다.
• 아블레이션 및 분석 실험을 통해 모델의 파라미터 피팅이 향상되고 더 합리적인 번역 결과를 생성하는 것으로 확인되었다.