[논문 리뷰] Improving Neural Machine Translation with Pre-trained Representation

Rongxiang Weng, Heng Yu외 3명|arXiv (Cornell University)|2019. 08. 21.

Natural Language Processing Techniques참고 문헌 29인용 수 5

한 줄 요약

이 논문은 단일 언어 데이터에서 문장 수준의 표현을 학습하기 위해 이방향 자기주의 언어 모델(BSLM)을 제안하고, 가중치 융합 기반 및 지식 전이 프레임워크를 통해 이를 트랜스포머 기반 NMT 모델의 소스 및 타겟 측 모두에 통합한다. 이 방법은 중국어-영어 및 독일어-영어 번역에서 강력한 베이스라인을 상회하는 유의미한 BLEU 향상을 달성하며, 저자원 영어-터키어 설정에서는 더욱 두드러진 성과를 보였다.

ABSTRACT

Monolingual data has been demonstrated to be helpful in improving the translation quality of neural machine translation (NMT). The current methods stay at the usage of word-level knowledge, such as generating synthetic parallel data or extracting information from word embedding. In contrast, the power of sentence-level contextual knowledge which is more complex and diverse, playing an important role in natural language generation, has not been fully exploited. In this paper, we propose a novel structure which could leverage monolingual data to acquire sentence-level contextual representations. Then, we design a framework for integrating both source and target sentence-level representations into NMT model to improve the translation quality. Experimental results on Chinese-English, German-English machine translation tasks show that our proposed model achieves improvement over strong Transformer baselines, while experiments on English-Turkish further demonstrate the effectiveness of our approach in the low-resource scenario.

연구 동기 및 목표

• NMT에서 단일 언어 데이터의 잠재적 활용이 부족한 문제, 특히 문장 수준의 문맥 지식 활용 부족 문제를 해결하기 위해.
• 사전 훈련된 문장 수준 표현이 어휘 수준 지식을 초월해 신경 기계 번역(NMT) 성능을 향상시킬 수 있는지 탐색하기 위해.
• 사전 훈련된 표현을 NMT 모델의 소스 및 타겟 측 모두에 효과적으로 통합하는 방법을 설계하기 위해.
• 기존 방법이 어휘 수준 기능에만 집중하거나 문장 표현의 순차적 의존성을 모델링하지 못하는 한계를 극복하기 위해.
• 이 방법이 고자원 및 저자원 번역 환경 모두에서 효과적인지 입증하기 위해.

제안 방법

• 단일 언어 데이터에서 훈련된 이방향 자기주의 언어 모델(BSLM)을 제안하여 문장 표현을 위해 정방향 및 역방향 순차적 의존성을 캡처한다.
• 각 트랜스포머 레이어에 대해 계층별 융합 가중치를 학습함으로써 BSLM 표현을 인코더에 융합하기 위한 가중치 기반 융합 기반 기법을 사용한다.
• 부분적으로 번역된 출력을 사용하여 미세조정하는 방식으로 지식 전이 프레임워크를 적용하여 BSLM에서 태스크에 특화된 지식을 디코더로 전이한다.
• 순차적 문맥을 더 효과적으로 모델링하기 위해 별도의 정방향 및 역방향 자기주의 네트워크를 갖춘 이중 스트림 아키텍처를 BSLM에 도입한다.
• 기존 아키텍처를 수정하지 않고 사전 훈련된 표현을 트랜스포터 프레임워크에 통합하여 다양한 NMT 모델과의 호환성을 확보한다.
• 대규모 단일 언어 문장 데이터에서 BSLM을 훈련하고, 융합된 표현을 사용해 NMT 모델을 엔드 투 엔드로 미세조정한다.

실험 결과

연구 질문

• RQ1 단일 언어 데이터에서 유도된 문장 수준의 문맥 표현이 신경 기계 번역 성능을 향상시킬 수 있는가?
• RQ2 사전 훈련된 문장 수준 표현을 어떻게 NMT 모델의 인코더와 디코더 양쪽에 효과적으로 통합할 수 있는가?
• RQ3 기존의 어휘 수준 지식 또는 단일 언어 자료에서 유도된 합성 데이터만을 사용하는 방법보다 제안된 방법이 우월한가?
• RQ4 사전 훈련된 표현의 통합이 저자원 번역 설정에서 더 효과적인가?
• RQ5 이방향 자기주의 모델이 단방향 또는 RNN 기반 모델보다 NMT에서 문장 표현을 위한 순차적 의존성을 더 잘 포착할 수 있는가?

주요 결과

• 중국어-영어 번역 작업에서 제안된 방법은 기준 트랜스포머 모델 대비 BLEU 점수를 1.22 포인트 향상시켰다.
• 독일어-영어 번역 작업에서 모델은 트랜스포머 기준 대비 BLEU 점수를 0.91 포인트 향상시켰다.
• 저자원 영어-터키어 설정에서는 BLEU 점수를 2.14 포인트나 향상시켜 강력한 일반화 능력을 입증했다.
• 소스 측에서의 지식 전이 프레임워크는 미미한 향상을 가져왔지만, 타겟 측에서의 가중치 융합 기반 기법은 부분 번역 결과를 사용할 경우 BLEU 점수가 0.66 포인트 하락시켰다.
• 융합 가중치의 시각화 결과 BSLM와 트랜스포머 레이어 간 강한 상관관계를 확인했으며, 이는 효과적인 레이어 간 정렬 및 계층별 표현 학습을 의미한다.