[논문 리뷰] Unsupervised Pretraining for Sequence to Sequence Learning

Prajit Ramachandran, Peter J. Liu외 1명|arXiv (Cornell University)|2016. 11. 08.

Natural Language Processing Techniques참고 문헌 44인용 수 17

한 줄 요약

이 논문은 단일 언어 텍스트에서 사전 훈련된 언어 모델 가중치로 인코더와 디코더를 초기화한 후, 감독 데이터와 단일 언어 언어 모델링 손실을 함께 최적화하여 시퀀스 투 시퀀스 모델을 위한 새로운 비지도 사전 훈련 방법을 제안한다. 이 방법은 일반화 능력을 크게 향상시키며, WMT 영어-독어 번역에서 1.3 BLEU 향상과 개략 요약에서 뛰어난 인간 평가 점수를 달성하여 최신 기준 성능을 달성한다.

ABSTRACT

This work presents a general unsupervised learning method to improve the accuracy of sequence to sequence (seq2seq) models. In our method, the weights of the encoder and decoder of a seq2seq model are initialized with the pretrained weights of two language models and then fine-tuned with labeled data. We apply this method to challenging benchmarks in machine translation and abstractive summarization and find that it significantly improves the subsequent supervised models. Our main result is that pretraining improves the generalization of seq2seq models. We achieve state-of-the art results on the WMT English$ ightarrow$German task, surpassing a range of methods using both phrase-based machine translation and neural machine translation. Our method achieves a significant improvement of 1.3 BLEU from the previous best models on both WMT'14 and WMT'15 English$ ightarrow$German. We also conduct human evaluations on abstractive summarization and find that our method outperforms a purely supervised learning baseline in a statistically significant manner.

연구 동기 및 목표

• 라벨이 부족한 경우 시퀀스 투 시퀀스 모델에서 과적합 문제를 해결하기 위해.
• 대규모 단일 언어 텍스트에서의 비지도 사전 훈련을 통해 시퀀스 투 시퀀스 모델의 일반화 능력을 향상시키기 위해.
• 각각 별도의 언어 모델로 인코더와 디코더를 사전 훈련하는 것이 시퀀스 생성 작업 성능에 기여하는지 조사하기 위해.
• 훈련 중 감독 훈련과 지속적인 단일 언어 언어 모델링 손실을 조합하는 것이 효과적인지 평가하기 위해.
• 사전 훈련이 자원이 적거나 어색한 표현이 많은 입력에 대해 모델의 강인성과 성능을 향상시키는지 확인하기 위해.

제안 방법

• 단일 언어 소스 쪽 텍스트에서 언어 모델을 사용해 인코더를 사전 훈련하고, 단일 언어 타겟 쪽 텍스트에서 언어 모델을 사용해 디코더를 사전 훈련한다.
• 시퀀스 투 시퀀스 모델의 임bedding 및 RNN 레이어를 각각 사전 훈련된 인코더 및 디코더 가중치로 초기화한다.
• 더 나은 초기화를 위해 디코더의 소프트맥스 레이어를 타겟 쪽 단일 언어 언어 모델의 소프트맥스로 초기화한다.
• 감독 데이터에서 전체 시퀀스 투 시퀀스 모델을 공동으로 미세 조정하면서 동일한 가중치로 단일 언어 언어 모델링 목표를 계속 최적화한다.
• 잔차 연결과 다층 어텐션 메커니즘을 적용하여 훈련 안정성과 성능을 추가로 향상시킨다.
• 사전 훈련과 언어 모델링 정규화의 기여도를 분리하기 위해 추상화 연구를 실시한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델로 인코더와 디코더를 초기화하는 것이 시퀀스 투 시퀀스 모델의 일반화 능력을 향상시키는가?
• RQ2 감독 미세 조정과 지속적인 단일 언어 언어 모델링 손실의 조합이 모델 성능에 어떤 영향을 미치는가?
• RQ3 시퀀스 생성 작업에서 인코더 사전 훈련과 디코더 사전 훈련의 상대적 기여도는 어떠한가?
• RQ4 사전 훈련이 자원이 적거나 어색한 표현이 많은 입력 시퀀스에서 성능 향상에 기여하는가?
• RQ5 향상은 더 나은 특징 표현, 최적화, 또는 정규화 덕분인가?

주요 결과

• 제안된 방법은 WMT’14와 WMT’15 영어-독어 번역 벤치마크에서 이전 최고 성능보다 각각 1.3 BLEU 포인트 향상시켰다.
• 인간 평가 결과, 사전 훈련된 모델이 순수하게 감독된 베이스라인보다 요약 요약에서 더 높은 정확도를 보이며 반복을 줄였다.
• 번역에서 주요 성능 향상은 특히 자원이 적은 환경에서 사전 훈련된 특징 덕분에 향상된 일반화에 기인한다.
• 요약 요약 작업에서 인코더 사전 훈련은 큰 향상을 가져왔으며, 이는 장기적 맥락 표현의 더 나은 최적화가 핵심임을 시사한다.
• 사전 훈련과 지속적인 언어 모델링 손실의 조합은 상호 보완적이며 높은 성능을 달성하기 위해 필수적이다.
• 추상화 연구 결과, 별도의 언어 모델로 인코더와 디코더를 초기화하는 것이 다른 통합 방법보다 더 효과적임을 확인했다.