[논문 리뷰] Semi-Supervised Learning for Neural Machine Translation

Yong Cheng, Wei Xu외 5명|arXiv (Cornell University)|2016. 06. 15.

Natural Language Processing Techniques인용 수 61

한 줄 요약

이 논문은 병렬 데이터가 부족한 저자원 언어에 특화된 반감독 학습 신경 기계 번역(NMT) 프레임워크를 제안한다. 이 방법은 단방향 NMT 모델을 양방향으로 구성하여 단일 언어 문장의 복원을 위해 원천-대상 번역을 인코더로, 대상-원천 번역을 디코더로 사용하는 오토인코더로 활용한다. 반복적인 편가속 데이터 개선을 통해 중국어-영어 NIST 벤치마크에서 각각 +1.8 및 +1.0의 BLEU 향상을 달성하였으며, 아키텍처 수정 없이도 성능 향상을 이룬다.

ABSTRACT

While end-to-end neural machine translation (NMT) has made remarkable progress recently, NMT systems only rely on parallel corpora for parameter estimation. Since parallel corpora are usually limited in quantity, quality, and coverage, especially for low-resource languages, it is appealing to exploit monolingual corpora to improve NMT. We propose a semi-supervised approach for training NMT models on the concatenation of labeled (parallel corpora) and unlabeled (monolingual corpora) data. The central idea is to reconstruct the monolingual corpora using an autoencoder, in which the source-to-target and target-to-source translation models serve as the encoder and decoder, respectively. Our approach can not only exploit the monolingual corpora of the target language, but also of the source language. Experiments on the Chinese-English dataset show that our approach achieves significant improvements over state-of-the-art SMT and NMT systems.

연구 동기 및 목표

• 저자원 언어에 특히 취약한 병렬 코퍼스가 부족한 신경 기계 번역(NMT) 시스템의 한계를 해결한다.
• 원천 언어 및 대상 언어에서 모두 풍부한 단일 언어 코퍼스를 활용하여 NMT 성능을 향상시킨다.
• 기존 NMT 아키텍처에 영향을 주지 않도록 단일 언어 데이터를 통합하는 방법을 개발한다.
• 반복적 재구성 과정을 통해 원천-대상 및 대상-원천 모델 간의 상호작용을 가능하게 한다.
• 기본 NMT 모델 아키텍처를 수정하지 않고도 번역의 자연스러움과 정확도를 향상시킨다.

제안 방법

• 원천-대상 NMT 모델을 인코더로, 대상-원천 모델을 디코더로 사용하여 단일 언어 코퍼스 기반 오토인코더를 구성한다.
• 병행 데이터에 대한 감독 가능성과 단일 언어 데이터에 대한 재구성 항목을 포함하는 공동 학습 목표를 설정한다.
• 재구성 목표를 통해 번역 결과로부터 원래의 단일 언어 문장을 복원할 확률을 최대화한다: $ P( extbf{x}^*| extbf{y}; \overleftarrow{\bm{\theta}})P(\textbf{y}|\textbf{x}; \overrightarrow{\bm{\theta}}) $.
• 반복적 개선을 수행한다: 편가속 병행 데이터를 생성하고, 실제 및 편가속 병행 데이터를 통합하여 NMT 모델을 재학습한다.
• 추론 과정에서 전체 검색 공간을 샘플링하여 재구성 효율성과 안정성을 향상시킨다.
• 원천 및 대상 단일 언어 코퍼스 모두에 이 방법을 적용하여 상호작용 기반 언어 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 원천 및 대상 언어에서의 단일 언어 코퍼스를 아키텍처 수정 없이 효과적으로 NMT에 활용할 수 있는가?
• RQ2 기존 NMT나 SMT와 비교해 병행 NMT 모델을 오토인코더로 활용할 경우 번역 품질이 향상되는가?
• RQ3 편가속 병행 데이터의 반복적 개선이 번역 성능에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 중국어-영어와 같은 저자원 언어 쌍에서 뚜렷한 성능 향상을 이룰 수 있는가?
• RQ5 원천-대상 및 대상-원천 모델 간의 상호작용이 재구성 및 번역 품질 향상에 어떻게 기여하는가?

주요 결과

• 제안된 방법은 중국어-영어 NIST 데이터셋에서 최신 SMT 및 NMT 시스템을 뛰어넘는 뚜렷한 성능 향상을 이룩하였으며, 중국어-영어 번역에서 최대 +1.8 BLEU, 영어-중국어 번역에서 +1.0 BLEU 향상을 달성하였다.
• 반복적 개선과 양방향 모델 상호작용 덕분에 이전의 편가속 병행 코퍼스 기반 단일 언어 데이터 활용 방법을 초월하였다.
• 단일 언어 문장을 대상으로 한 비터비 번역 결과가 반복 과정을 거치며 향상되며, 점차 더 나은 문장 표현을 학습하고 있음을 시사한다.
• 이 방법은 NMT 아키텍처에 대해 투명하며, 기존의 엔드 투 엔드 NMT 시스템에 수정 없이 적용 가능하다.
• 원천 및 대상 단일 언어 코퍼스를 모두 활용함으로써 더 나은 언어 모델링이 가능하고, 번역의 자연스러움이 향상된다.
• 재구성 목표는 NMT 모델의 일반화 능력을 향상시켜 저자원 환경에서의 성능을 강화하는 데 효과적이다.