[논문 리뷰] Pretrained Language Models for Document-Level Neural Machine Translation

Liangyou Li, Xin Jiang외 1명|arXiv (Cornell University)|2019. 11. 08.

Natural Language Processing Techniques참고 문헌 14인용 수 16

한 줄 요약

이 논문은 문서 수준의 신경 기계 번역(NMT) 시스템을 제안하며, 단일 언어 사전 훈련된 언어 모델(BERT)을 사용해 인코더를 초기화하고, 대규모 컨텍스트 영향을 제어하기 위해 컨텍스트 조작 기법—세그먼트 임베딩, 뒤집힌 위치 임베딩, 컨텍스트 마스크—을 활용하며, 정규화를 위해 다중 작업 학습을 도입한다. IWSLT 벤치마크에서 이전 작업 대비 Zh-En, Fr-En, Es-En 모두에서 BLEU 점수를 크게 향상시켰다(최대 3.11점 향상)로, 장기간 컨텍스트를 고려한 NMT에서 BERT 초기화와 컨텍스트 인식 설계의 효과를 입증한다.

ABSTRACT

Previous work on document-level NMT usually focuses on limited contexts because of degraded performance on larger contexts. In this paper, we investigate on using large contexts with three main contributions: (1) Different from previous work which pertrained models on large-scale sentence-level parallel corpora, we use pretrained language models, specifically BERT, which are trained on monolingual documents; (2) We propose context manipulation methods to control the influence of large contexts, which lead to comparable results on systems using small and large contexts; (3) We introduce a multi-task training for regularization to avoid models overfitting our training corpora, which further improves our systems together with a deeper encoder. Experiments are conducted on the widely used IWSLT data sets with three language pairs, i.e., Chinese--English, French--English and Spanish--English. Results show that our systems are significantly better than three previously reported document-level systems.

연구 동기 및 목표

• 큰 컨텍스트를 사용할 경우 문서 수준 NMT 성능이 떨어지는 문제를 해결하기 위해 모델의 안정성과 관련성 향상.
• 문장 수준의 병렬 코퍼스 대신 단일 언어 사전 훈련된 언어 모델(예: BERT)을 사용해 인코더 초기화 방법 탐색.
• 장기간 컨텍스트 시퀀스가 번역 출력에 미치는 영향을 명시적으로 제어할 수 있는 아키텍처 수정 설계.
• 다중 작업 학습을 통해 저자원 문서 수준 NMT의 일반화 능력을 향상시키고 과적합을 줄이기.

제안 방법

• Wikipedia와 같은 대규모 단일 언어 코퍼스에서 사전 훈련된 다국어 또는 단일 언어 BERT 모델을 사용해 인코더를 초기화한다.
• 입력 문장을 그 이전 컨텍스트(최대 512토큰)와 결합하고, 이를 구분하기 위해 [SEP] 토큰을 삽입한다.
• 인코더 입력에서 입력 문장과 그 컨텍스트를 구별하기 위해 세그먼트 임베딩을 도입한다.
• 표준 위치 임베딩 대신 뒤집힌 위치 임베딩을 사용해 컨텍스트에서 입력으로의 종속성 방향을 더 잘 모델링한다.
• 디코딩 중에 컨텍스트 마스크를 적용해 어텐션 기능이 컨텍스트 토큰을 참조하지 못하도록 하여 번역 생성에 입력 문장만 사용되도록 보장한다.
• 인코더의 히든 상태에 마스크된 언어 모델링(MLM)을 추가해 표현 학습을 정규화하기 위해 다중 작업 학습 목표를 구현한다.

실험 결과

연구 질문

• RQ1 BERT와 같은 단일 언어 사전 훈련된 언어 모델을 인코더 초기화에 사용할 경우 문서 수준 NMT 성능 향상이 가능한가?
• RQ2 최대 512토큰의 장기간 컨텍스트 입력을 번역 품질이 떨어지지 않도록 효과적으로 통합할 수 있는가?
• RQ3 세그먼트 임베딩, 뒤집힌 위치 임베딩, 컨텍스트 마스크와 같은 아키텍처 수정이 장기간 컨텍스트에서의 훈련 안정성과 성능 향상에 기여하는가?
• RQ4 마스크된 언어 모델링을 통한 다중 작업 학습이 문서 수준 NMT에서 일반화 능력을 향상시키고 과적합을 줄이는 데 기여하는가?

주요 결과

• BERT를 인코더 초기화에 사용하면 Zh-En에서 BLEU 점수를 1.04점, Fr-En에서 0.64점, Es-En에서 0.55점 향상시켜 단일 언어 데이터에서의 사전 훈련의 가치를 입증한다.
• BERT, 컨텍스트 조작, 다중 작업 학습을 모두 적용한 전체 시스템은 이전 최고 성능 시스템 대비 Zh-En에서 3.11 BLEU, Es-En에서 2.84 BLEU, Fr-En에서 2.06 BLEU 향상시켰다.
• 컨텍스트 조작 기법을 적용할 경우 소규모 컨텍스트와 대규모 컨텍스트 시스템 간 성능 격차가 0.2 BLEU로 좁혀져 컨텍스트 영향력 제어의 효과를 입증한다.
• 컨텍스트 조작 기법 없이 대규모 컨텍스트를 사용할 경우 성능이 떨어지거나 훈련이 산산이 갈라지는 현상(예: 발산)이 발생하지만, 이 기법들을 적용하면 대규모 컨텍스트에서 일관된 성능 향상이 이루어진다.
• 제거 실험 결과 각 구성 요소—BERT, 컨텍스트 조작, 다중 작업 학습—이 최종 성능 향상에 점진적으로 기여하는 것으로 확인되었다.
• 더 깊은 인코더(12층)와 MLM 사전 훈련을 조합하면 추가적인 향상이 이루어지며, Fr-En에서 최대 0.64 BLEU 향상이 관찰되었다.