[논문 리뷰] Mixed-Lingual Pre-training for Cross-lingual Summarization

Ruochen Xu, Chenguang Zhu외 3명|arXiv (Cornell University)|2020. 10. 18.

Topic Modeling참고 문헌 38인용 수 9

한 줄 요약

이 논문은 공통 인코더-디코더 아키텍처에서 단일 언어 작업(마스킹 언어 모델링, 노이즈 제거 오토인코딩, 단일 언어 요약)과 다국어 작업(다국어 마스킹 언어 모델링, 기계 번역)을 동시에 최적화하는 혼합 언어 사전 훈련 프레임워크를 제안한다. 이 방법은 상태 기준 성능을 달성하여 NCLS 벤치마크에서 이전 방법 대비 중국어에서 영어로의 요약 시 ROUGE-1 점수를 2.82점 향상시키고, 영어에서 중국어로의 요약 시 1.15점 향상시켰다.

ABSTRACT

Cross-lingual Summarization (CLS) aims at producing a summary in the target language for an article in the source language. Traditional solutions employ a two-step approach, i.e. translate then summarize or summarize then translate. Recently, end-to-end models have achieved better results, but these approaches are mostly limited by their dependence on large-scale labeled data. We propose a solution based on mixed-lingual pre-training that leverages both cross-lingual tasks such as translation and monolingual tasks like masked language models. Thus, our model can leverage the massive monolingual data to enhance its modeling of language. Moreover, the architecture has no task-specific components, which saves memory and increases optimization efficiency. We show in experiments that this pre-training scheme can effectively boost the performance of cross-lingual summarization. In Neural Cross-Lingual Summarization (NCLS) dataset, our model achieves an improvement of 2.82 (English to Chinese) and 1.15 (Chinese to English) ROUGE-1 scores over state-of-the-art results.

연구 동기 및 목표

• 저자원 다국어 요약 문제를 해결하기 위해 대규모의 레이블이 없는 단일 언어 데이터를 활용한다.
• 오류 전파 문제를 겪는 두 단계 파이프라인 방법을 넘어서 다국어 요약 성능을 향상시킨다.
• 작업 전용 디코더 없이 통합된 파rameter 효율적인 모델 아키텍처를 개발하여 최적화 및 메모리 효율성을 향상시킨다.
• 무 supervision 사전 훈련 목표가 제로샷 및 저자원 다국어 요약 성능 향상에 기여하는 방식을 조사한다.
• 종단 간 다국어 요약을 위한 단일 언어 및 다국어 작업에서의 다중 작업 사전 훈련의 효과를 입증한다.

제안 방법

• 마스킹 언어 모델링(MLM), 노이즈 제거 오토인코딩(DAE), 단일 언어 요약(MS)과 같은 단일 언어 작업 조합에서 공통 다국어 인코더-디코더 트랜스포머 모델을 사전 훈련한다.
• 다국어 표현 학습을 향상시키기 위해 다국어 마스킹 언어 모델링(CMLM)과 기계 번역(MT)과 같은 다국어 작업을 통합한다.
• 모든 작업 간 파라미터 공유와 언어 및 작업 간 공동 최적화를 가능하게 하기 위해 모든 작업에 공통 다국어 어휘를 사용한다.
• 언어 모델링과 다국어 정렬을 동시에 최적화하기 위해 모든 작업을 균형 잡힌 가중치로 조합한 다중 작업 목표를 사전 훈련 중 적용한다.
• 표준 순서-순서 학습과 교차 엔트로피 손실을 사용하여 하류 다국어 요약 작업에 대해 통합 모델을 미세 조정한다.
• 선형 웜업과 지수 감쇠를 사용하는 RAdam 옵timizer를 적용하고, 비트 크기 6, 최대 길이 200 토큰의 비트 서치 디코딩을 수행한다.

실험 결과

연구 질문

• RQ1 단일 언어 및 다국어 작업에서의 공동 사전 훈련이 작업 전용 또는 파이프라인 방법에 비해 다국어 요약 성능 향상에 기여하는가?
• RQ2 무 supervision 사전 훈련 목표(예: MLM, DAE)가 제로샷 또는 저자원 다국어 요약에 어떤 기여를 하는가?
• RQ3 모든 사전 훈련 및 미세 조정 작업에 대해 통합된 인코더-디코더 아키텍처가 작업 전용 디코더가 있는 모델에 비해 최적화 효율성과 성능 향상에 기여하는가?
• RQ4 레이블이 있는 다국어 요약 데이터가 제한된 상황에서 제안된 사전 훈련 체계는 얼마나 효과적인가?
• RQ5 각 사전 훈련 목표(MSM, DAE, MS, CMLM, MT)가 최종 요약 성능에 기여하는 비율은 어떻게 되는가?

주요 결과

• 제안된 모델은 NCLS 데이터셋에서 중국어에서 영어로의 다국어 요약에서 이전 최고 성능 대비 ROUGE-1 점수를 2.82점 향상시켰다.
• 영어에서 중국어로의 요약에서는 최고의 이전 결과 대비 ROUGE-1 점수를 1.15점 향상시켰다.
• 제거 분석 결과, 단일 언어 무 supervision 작업(MLM 및 DAE)이 성능 향상에 가장 큰 기여를 하였고, 그 다음으로 MT 및 CMLM이 기여하였다.
• 모든 ROUGE 지표에서 파이프라인 베이스라인 및 강력한 종단 간 모델(NCLS, NCLS-MS, NCLS-MT, XNLG)을 모두 능가하는 성능을 보였다.
• 1,000개 또는 10,000개의 훈련 샘플만 있는 저자원 환경에서도 사전 훈련된 모델이 초기화된 상태에서 훈련하는 것보다 훨씬 더 큰 성능 향상을 보였으며, 데이터 부족에 대한 강건성을 입증하였다.
• 완전한 사전 훈련 목표는 사전 훈련 없이 미세 조정한 모델 대비 ROUGE-1 점수를 2.38점 향상시켰으며, 다중 작업, 다국어 사전 훈련의 가치를 확인하였다.