[논문 리뷰] A Study of Reinforcement Learning for Neural Machine Translation

Lijun Wu, Fei Tian외 3명|arXiv (Cornell University)|2018. 08. 27.

Natural Language Processing Techniques참고 문헌 30인용 수 19

한 줄 요약

이 논문은 깊이 있는 아키텍처와 대규모 병렬 및 단일 언어 데이터를 사용하여 강화학습(RL)을 적용하여 최신 신경 기계 번역(NMT) 모델을 훈련시키는 종합적인 연구를 제시한다. 이는 RL을 활용해 원천 및 대상 언어 측의 단일 언어 데이터를 동시에 활용하는 새로운 방법을 도입하여 WMT17 중국어-영어 번역 과제에서 26.73 BLEU라는 새로운 SOTA 성능을 달성하였으며, 강력한 기준 모델을 약 1.5 BLEU 포인트 뛰어넘었다.

ABSTRACT

Recent studies have shown that reinforcement learning (RL) is an effective approach for improving the performance of neural machine translation (NMT) system. However, due to its instability, successfully RL training is challenging, especially in real-world systems where deep models and large datasets are leveraged. In this paper, taking several large-scale translation tasks as testbeds, we conduct a systematic study on how to train better NMT models using reinforcement learning. We provide a comprehensive comparison of several important factors (e.g., baseline reward, reward shaping) in RL training. Furthermore, to fill in the gap that it remains unclear whether RL is still beneficial when monolingual data is used, we propose a new method to leverage RL to further boost the performance of NMT systems trained with source/target monolingual data. By integrating all our findings, we obtain competitive results on WMT14 English- German, WMT17 English-Chinese, and WMT17 Chinese-English translation tasks, especially setting a state-of-the-art performance on WMT17 Chinese-English translation task.

연구 동기 및 목표

• 대규모이고 깊이 있는 NMT 모델에 RL을 적용할 때 발생하는 안정성 및 실용적 과제를 해결하기 위해.
• 경쟁적인 NMT 아키텍처에서 보상 설계, 기준 보상, 분산 감소와 같은 효과적인 RL 훈련 전략을 조사하기 위해.
• 기존 문헌에서 다루지 않은 바와 같이, 원천 및 대상 언어 측의 단일 언어 데이터를 RL 훈련과 통합하는 방법을 탐색하기 위해.
• 특히 WMT17 중국어-영어에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 훈련 안정성을 높이기 위해 적응형 가중치를 사용해 최대가능도추정(MLE)과 RL 목표를 통합한 유일한 RL 훈련 프레임워크를 제안한다.
• 보상 계산을 위해 비드 탐색 대신 다항분포 샘플링을 사용하여 시퀀스 수준 최적화를 향상시킨다.
• 원천 및 대상 언어 측의 단일 언어 데이터를 RL 기반 NMT 훈련에 통합하는 새로운 방법을 도입하여 모델 일반화 능력을 향상시킨다.
• 기본 보상과 보상 형태 조정과 같은 표준 RL 기법을 적용하고, 그 영향에 대한 실증 분석을 수행한다.
• 시퀀스 수준 BLEU를 보상 신호로 사용해 액터-크리틱 및 REINFORCE 스타일 정책 최적화를 구현한다.
• 하이브리드 훈련 전략을 활용: 병렬 데이터로 MLE를 사전 훈련한 후, 병렬 및 단일 언어 데이터를 모두 사용해 RL로 미세조정한다.

실험 결과

연구 질문

• RQ1 보상 계산에 있어 다항분포 샘플링은 RL 기반 NMT 훈련에서 비드 탐색보다 어떻게 비교되는가?
• RQ2 기본 보상과 보상 형태 조정은 깊이 있는 NMT 모델에서 RL 훈련의 안정성과 성능에 어떤 영향을 미치는가?
• RQ3 원천 및 대상 언어 측의 단일 언어 데이터를 어떻게 효과적으로 RL 훈련과 통합하여 번역 품질을 향상시킬 수 있는가?
• RQ4 강력한 MLE 기반 NMT 시스템에서 대규모 단일 언어 데이터와 함께 RL을 결합해도 여전히 성능 향상이 가능한가?
• RQ5 종합적인 훈련에서 MLE와 RL 목표 간의 최적의 균형은 무엇인가, 이를 통해 안정적인 성능을 확보할 수 있는가?

주요 결과

• 보상 계산에 다항분포 샘플링을 사용할 경우 비드 탐색 대비 성능이 뛰어나며, WMT17 Zh-En에서 최대 0.5 포인트 향상된 BLEU 성능을 기록한다.
• 적절한 가중치를 사용해 MLE와 RL 목표를 결합한 전략은 훈련 안정성을 높이고 모든 과제에서 일관된 성능 향상을 이끈다.
• 기본 보상과 보상 형태 조정 기법은 성능 향상에 미치는 영향이 미미하며, 적절한 샘플링 및 훈련 전략보다 영향이 적다.
• 원천 및 대상 언어 측의 단일 언어 데이터를 모두 RL 훈련과 통합하면 성능 향상이 이루어지며, 최종 모델은 WMT17 중국어-영어에서 26.73 BLEU를 달성하여 단일 언어 데이터만 사용한 MLE 모델 대비 0.6 포인트 향상된 성능을 기록한다.
• 최종 모델은 WMT17 중국어-영어에서 새로운 SOTA 성능을 수립하여 최고의 앙상블 시스템을 1.5 BLEU 포인트 뛰어넘었다.
• WMT14 영어-독일어 및 WMT17 영어-중국어 과제에서도 경쟁 가능한 성능을 기록하여 본 방법의 광범위한 적용 가능성을 확인했다.