[논문 리뷰] Dual Learning for Machine Translation

Yingce Xia, Di He외 5명|arXiv (Cornell University)|2016. 11. 01.

Natural Language Processing Techniques참고 문헌 14인용 수 598

한 줄 요약

이 논문은 두 번역 모델이 서로를 통해 닫힌 루프에서 번역하며 비라벨링된 단일언어 데이터로부터 학습하는 강화 학습 프레임워크인 dual-NMT를 도입하여 제한된 병렬 데이터로도 경쟁력 있는 결과를 달성한다.

ABSTRACT

While neural machine translation (NMT) is making good progress in the past two years, tens of millions of bilingual sentence pairs are needed for its training. However, human labeling is very costly. To tackle this training data bottleneck, we develop a dual-learning mechanism, which can enable an NMT system to automatically learn from unlabeled data through a dual-learning game. This mechanism is inspired by the following observation: any machine translation task has a dual task, e.g., English-to-French translation (primal) versus French-to-English translation (dual); the primal and dual tasks can form a closed loop, and generate informative feedback signals to train the translation models, even if without the involvement of a human labeler. In the dual-learning mechanism, we use one agent to represent the model for the primal task and the other agent to represent the model for the dual task, then ask them to teach each other through a reinforcement learning process. Based on the feedback signals generated during this process (e.g., the language-model likelihood of the output of a model, and the reconstruction error of the original sentence after the primal and dual translations), we can iteratively update the two models until convergence (e.g., using the policy gradient methods). We call the corresponding approach to neural machine translation \emph{dual-NMT}. Experiments show that dual-NMT works very well on English$\leftrightarrow$French translation; especially, by learning from monolingual data (with 10% bilingual data for warm start), it achieves a comparable accuracy to NMT trained from the full bilingual data for the French-to-English translation task.

연구 동기 및 목표

• 신경기계번역(NMT)을 위한 비용이 큰 병렬 데이터 의존도를 줄이려는 동기 부여.
• 단일언어 데이터를 사용하여 두 개의 번역 모델이 서로를 가르치는 듀얼 학습 게임을 제안.
• 두 방향의 번역을 함께 최적화하는 강화학습 기반 알고리즘(dual-NMT)을 개발.
• 제한된 병렬 데이터로 En↔Fr에서 dual-NMT의 효과를 입증하고 기준선과 비교한다.

제안 방법

• MT를 두 에이전트의 듀얼 작업으로 형상화: A→B와 B→A 번역이 닫힌 루프를 형성한다.
• 정렬된 데이터가 없는 상태에서 두 언어의 단일언어 코퍼스를 학습 원천으로 사용한다.
• 전체 보상은 언어모델 보상과 재구성/의사소통 보상을 활용해 역전파를 위한 보상을 정의한다.
• 정책 기울기 방법을 빔 서치 중간 번역으로 gradients를 추정한다.
• 이중 시작을 병렬 데이터로 따듯하게 시작하고 점차 단일언어 데이터에 더 의존하도록(소프트 램다운) 한다.
• En→Fr 및 Fr→En에서 표준 NMT 및 의사-NMT 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 듀얼 학습이 단독 또는 제한된 병렬 데이터로부터 효과적인 NMT 학습을 가능하게 할 수 있는가?
• RQ2 Dual-NMT가 En↔Fr 번역에서 표준 NMT 및 의사-NMT에 비해 어떤 성능을 보이는가?
• RQ3 듀얼-학습이 자체 재구성 품질과 역번역 일관성을 개선하는가?
• RQ4 따뜻하게 시작하는 데이터 양의 영향이 Dual-NMT 성능에 미치는 영향은 무엇인가?

주요 결과

• Dual-NMT는 En→Fr 및 Fr→En 모든 설정에서 NMT 및 의사-NMT보다 우수한 성능을 보인다.
• 10%의 병렬 데이터를 사용했을 때 Dual-NMT는 Fr→En 성능에서 100% 병렬 데이터로 학습한 NMT에 필적하는 성능을 달성한다.
• 자체 재구성(역번역)에 대한 BLEU 점수는 Dual-NMT가 기준선보다 상당히 높아 일부 설정에서 최대 약 20포인트 차이를 보인다.
• 빔 서치 기반의 중간 번역은 무작위 샘플링보다 더 의미 있는 그래디언트 추정치를 제공한다.
• 병렬 데이터가 적을수록 Dual-NMT의 이점이 커져, 단일언어 데이터의 활용이 강하다는 것을 시사한다.