[논문 리뷰] Pre-trained Language Model Representations for Language Generation

Sergey Edunov, Alexei Baevski외 1명|arXiv (Cornell University)|2019. 03. 22.

Topic Modeling참고 문헌 30인용 수 24

한 줄 요약

이 논문은 신경 기계 번역과 개괄 요약 작업을 위한 순서-순서 모델에 사전 훈련된 언어 모델 표현을 통합하는 방법을 제안한다. ELMo 방식의 문맥적 임bedding을 인코더에 입력함으로써, 저자원 환경에서 BLEU 점수를 최대 5.3점 향상시키고 CNN-DailyMail 데이터셋에서 ROUGE 점수를 1.49점 향상시키며, 추론 시간은 단지 14% 증가하는 것으로 상태의 성능을 달성한다.

ABSTRACT

Pre-trained language model representations have been successful in a wide range of language understanding tasks. In this paper, we examine different strategies to integrate pre-trained representations into sequence to sequence models and apply it to neural machine translation and abstractive summarization. We find that pre-trained representations are most effective when added to the encoder network which slows inference by only 14%. Our experiments in machine translation show gains of up to 5.3 BLEU in a simulated resource-poor setup. While returns diminish with more labeled data, we still observe improvements when millions of sentence-pairs are available. Finally, on abstractive summarization we achieve a new state of the art on the full text version of CNN/DailyMail.

연구 동기 및 목표

• 사전 훈련된 언어 모델 표현이 텍스트 생성 작업을 위한 순서-순서 모델에 어떻게 향상될 수 있는지 조사하는 것.
• ELMo 방식의 보완과 미세조정 전략을 포함한 다양한 통합 전략이 인코더 및 디코더 네트워크에서 어떻게 평가되는지 평가하는 것.
• 기계 번역과 개괄 요약 작업에서 저자원 및 고자원 설정 모두에서 성능 향상 여부를 평가하는 것.
• 사전 훈련된 표현을 추가할 때 성능 향상과 추론 효율성 간의 트레이드오프를 분석하는 것.

제안 방법

• 저자들은 사전 훈련된 언어 모델의 여러 레이어를 가중 조합하여 생성된 ELMo 방식의 문맥적 단어 임베딩을 사용하며, 각 은닉 레이어에 층 정규화를 적용한다.
• 이 임베딩을 인코더(원본-ELMo) 또는 디코더(대상-ELMo)에 통합하는 것을 실험하였으며, 순서-순서 훈련 중 언어 모델 파라미터를 미세조정하는 전략(src-ft, tgt-ft)도 고려했다.
• 사전 훈련된 언어 모델은 대규모 단어어휘(예: 독일어 60억 토큰, 영어 뉴스크롤 50억 토큰)를 사용하여 공통 BPE 어휘(37,000 종류)로 훈련되었다.
• 추론 시, 모든 입력 토큰을 기반으로 언어 모델 표현을 동시에 계산하여, 훈련 시간이 증가하더라도 지연 영향을 최소화한다.
• 특히 데이터가 적은 환경에서 성능 향상을 위해 디코더에서 입력과 출력 임베딩을 공유하는(공유 임베딩) 전략을 포함한다.
• 실험은 WMT’18 영어-독일어 및 영어-터키어 번역 작업, 그리고 CNN-DailyMail 개괄 요약 데이터셋에서 수행되었다.

실험 결과

연구 질문

• RQ1 ELMo 방식의 입력 통합과 미세조정 중 어느 전략이 순서-순서 모델에서 가장 큰 성능 향상을 이끌어내는가?
• RQ2 사전 훈련된 표현은 다양한 양의 레이블된 훈련 데이터에서 어떻게 영향을 미치며, 특히 저자원 설정에서 어떤가?
• RQ3 사전 훈련된 표현을 인코더나 디코더에 통합할 경우 더 나은 성능를 내는가, 그리고 그 이유는 무엇인가?
• RQ4 사전 훈련된 표현이 추론 속도에 어떤 영향을 미치며, 성능 손실 없이 이를 최소화할 수 있는가?
• RQ5 사전 훈련된 표현은 공유 임베딩과 같은 다른 아키텍처 개선과 효과적으로 조합될 수 있는가?

주요 결과

• 가장 뛰어난 성능를 보이는 전략은 인코더에 ELMo 방식의 문맥적 임베딩을 통합하는 것(src-elmo)이며, 16만 개의 비트렉스트 설정에서 BLEU 점수를 3.8점 향상시키고, 520만 개 문장 쌍이 있는 설정에서도 1점 이상 향상시킨다.
• src-elmo와 공유 입력-출력 임베딩(src-elmo+shdemb)의 조합은 16만 개 비트렉스트 설정에서 5.3점의 BLEU 향상을 기록하며 새로운 최고 성능를 달성한다.
• 언어 모델을 미세조정하는 전략(src-ft)도 성능 향상을 이끌지만, 훈련 시간이 기준보다 약 9.2배 느리며, 일부 설정에서는 src-elmo와 비슷하거나 약간 뛰어나다.
• 디코더에 사전 훈련된 표현을 통합하는 경우(tgt-elmo 또는 tgt-ft)는 성능 향상이 미미하거나 부정적인 경향을 보이며, 이는 디코딩에 있어 효과가 떨어짐을 시사한다.
• src-elmo를 사용할 경우 추론 시간은 단지 14% 증가하며, 입력 토큰 전체에 걸쳐 언어 모델 계산을 병렬화함으로써 이로 인한 영향을 최소화한다.
• CNN-DailyMail 개괄 요약 작업에서 src-elmo+shdemb는 기준보다 ROUGE-L 점수를 1.49점 향상시키며 새로운 최고 성능를 달성한다.