[논문 리뷰] Neural Machine Translation with Adequacy-Oriented Learning

Xiang Kong, Zhaopeng Tu외 3명|arXiv (Cornell University)|2018. 11. 21.

Natural Language Processing Techniques참고 문헌 29인용 수 7

한 줄 요약

이 논문은 강화학습(RL)에서 확률적 정책으로 번역을 모델링함으로써 신경 기계 번역(NMT)을 위한 적정성 중심 학습 프레임워크를 제안한다. 보상은 번역의 적정성을 측정하는 새로운 커버리지 차이 비율(CDR) 메트릭에 기반한다. 이 방법은 표준 MLE 및 기존의 RL/대칭 기반 기준보다 다국어 번역 쌍과 다양한 아키텍처에서 완전성과 시퀀스 수준의 적정성을 직접 최적화함으로써 번역 품질을 크게 향상시킨다.

ABSTRACT

Although Neural Machine Translation (NMT) models have advanced state-of-the-art performance in machine translation, they face problems like the inadequate translation. We attribute this to that the standard Maximum Likelihood Estimation (MLE) cannot judge the real translation quality due to its several limitations. In this work, we propose an adequacy-oriented learning mechanism for NMT by casting translation as a stochastic policy in Reinforcement Learning (RL), where the reward is estimated by explicitly measuring translation adequacy. Benefiting from the sequence-level training of RL strategy and a more accurate reward designed specifically for translation, our model outperforms multiple strong baselines, including (1) standard and coverage-augmented attention models with MLE-based training, and (2) advanced reinforcement and adversarial training strategies with rewards based on both word-level BLEU and character-level chrF3. Quantitative and qualitative analyses on different language pairs and NMT architectures demonstrate the effectiveness and universality of the proposed approach.

연구 동기 및 목표

• NMT에서 원본 문장의 일부가 출력에서 생략되는 부적절한 번역 문제를 해결하기 위해.
• 노출 편향, 단어 수준의 손실, 번역 적정성과의 낮은 상관관계 등 최대가능도추정(MLE)의 한계를 극복하기 위해.
• 사람의 평가와 더 잘 일치하는 시퀀스 수준의 적정성 중심 학습 목표를 개발하기 위해.
• 원본 단어가 부적절하게 번역된 비율을 명시적으로 측정하는 새로운 메트릭인 커버리지 차이 비율(CDR)을 설계하기 위해.
• CDR 메트릭을 강화학습 프레임워크에 통합하여 유창성과 완전성을 동시에 최적화하기 위해.

제안 방법

• NMT를 강화학습에서의 확률적 정책으로 모델링함으로써 정책 기반 강화학습 방법을 통해 시퀀스 수준의 학습을 가능하게 한다.
• 원본 문장의 단어들이 생성된 번역에서 얼마나 적절하게 번역되었는지를 비교함으로써 모델 출력과 인간 기준 번역 간의 차이를 수량화하는 CDR 기반의 새로운 보상 신호를 설계한다.
• 주의 기반의 정렬을 대체로 사용하여 생성된 번역에서 어떤 목표 단어에도 대응되지 않는 원본 단어를 식별함으로써 CDR를 계산한다.
• CDR 기반 보상과 함께 정책 기반 강화학습 최적화를 사용하여 NMT 모델을 훈련함으로써 더 완전한 번역을 생성하도록 학습시킨다.
• CDR 기반 보상과 적대적 훈련(판별자에 의해)을 결합하여 훈련의 안정성과 성능을 향상시킨다.
• RNN 기반 및 Transformer 기반 NMT 아키텍처에 모두 이 방법을 적용하여 다양한 아키텍처 간의 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 시퀀스 수준의 적정성 중심 보상은 표준 MLE 및 단어 수준의 메트릭을 넘어서 신경 기계 번역(NMT)을 향상시킬 수 있는가?
• RQ2 BLEU나 chrF3와 같은 표준 메트릭과 비교해 볼 때, 커버리지 차이 비율(CDR) 메트릭은 번역 적정성 측정에 얼마나 효과적인가?
• RQ3 CDR을 강화학습 프레임워크에 통합하면 다양한 NMT 아키텍처와 번역 쌍에서 일관된 성능 향상이 이루어지는가?
• RQ4 CDR 기반 보상은 판별자를 사용한 적대적 훈련보다 부적절한 번역을 줄이는 데 더 뛰어나게 작용하는가?
• RQ5 제안된 방법은 MLE 훈련에 내재된 노출 편향과 단어 수준의 손실 문제를 어느 정도 완화하는가?

주요 결과

• 제안된 적정성 중심 학습 방법은 중국어-영어 및 독일어-영어 번역 작업에서 표준 MLE 기반 NMT 모델과 커버리지 보정 주의 모델보다 뚜렷이 뛰어난 성능을 보였다.
• CDR 점수는 인간 평가와 피어슨 상관계수 0.64로 상관관계를 보이며, 번역 적정성의 효과적인 대체 지표임을 검증했다.
• 긴 문장(45단어 이상)에서는 CDR 기반 모델이 일관된 향상을 유지하지만, 단독으로 적대적 모델은 노이즈가 많은 보상으로 인해 성능이 저하된다.
• CDR 기반 보상과 판별자(즉, +D+O)의 조합이 가장 뛰어난 성능을 보였으며, 정확한 보상과 안정적인 훈련의 상호보완적 이점이 확인되었다.
• 이 방법은 CDR 점수와 BLEU 점수를 동시에 향상시켜, 적정성 최적화가 유창성에 영향을 주지 않음을 입증했다.
• 사례 연구 결과, 표준 모델이 번역하지 못했던 원본 문장의 후반부와 같은 세그먼트를 정확히 번역하는 것으로 나타났다.