[논문 리뷰] Cross-Lingual Natural Language Generation via Pre-Training

Zewen Chi, Dong Li외 4명|arXiv (Cornell University)|2019. 09. 23.

Topic Modeling참고 문헌 18인용 수 11

한 줄 요약

이 논문은 단일 다국어 사전 훈련된 인코더-디코더 모델인 Xnlg를 제안한다. 이 모델은 단일 언어 및 다국어 목표를 동시에 사전 훈련하여, 영어와 같은 자원이 풍부한 언어에서 자원이 부족한 언어(예: 프랑스어, 중국어)로의 지도 전달을 가능하게 하며, 번역 기반 파이프라인보다 제로샷 설정에서 더 우수한 성능을 보인다. 이는 개괄적 요약 및 질문 생성과 같은 자원이 부족한 언어에서의 생성 성능을 향상시킨다.

ABSTRACT

In this work we focus on transferring supervision signals of natural language generation (NLG) tasks between multiple languages. We propose to pretrain the encoder and the decoder of a sequence-to-sequence model under both monolingual and cross-lingual settings. The pre-training objective encourages the model to represent different languages in the shared space, so that we can conduct zero-shot cross-lingual transfer. After the pre-training procedure, we use monolingual data to fine-tune the pre-trained model on downstream NLG tasks. Then the sequence-to-sequence model trained in a single language can be directly evaluated beyond that language (i.e., accepting multi-lingual input and producing multi-lingual output). Experimental results on question generation and abstractive summarization show that our model outperforms the machine-translation-based pipeline methods for zero-shot cross-lingual generation. Moreover, cross-lingual transfer improves NLG performance of low-resource languages by leveraging rich-resource language data. Our implementation and data are available at https://github.com/CZWin32768/xnlg.

연구 동기 및 목표

• 다국어 자연어 생성 데이터셋에서의 지도 신호를 이용해 새로운 언어에 대해 사전 훈련 없이도 제로샷 다국어 자연어 생성을 가능하게 하기 위해.
• 기계 번역 기반 파이프라인에서 발생하는 오류 전파 및 파rameter 공유 부족 문제를 해결하기 위해.
• 다국어 전이를 통해 자원이 풍부한 언어 데이터를 활용하여 자원이 부족한 언어에서의 성능을 향상시키기 위해.
• 다국어 및 단일 언어 목표를 동시에 최적화하여 언어 간 공통된 의미 표현을 확보하는 사전 훈련 전략을 설계하기 위해.
• 다양한 미세조정 전략이 다국어 생성 능력 유지에 미치는 영향을 평가하기 위해.

제안 방법

• 단일 언어 및 다국어 목표를 동시에 사전 훈련하여 다국어 표현을 공통 공간에 정렬하는 시퀀스 투 시퀀스 모델인 Xnlg를 제안한다.
• 두 가지 핵심 사전 훈련 목표를 사용한다: 다국어 자동에코 (XAE)와 노이즈 제거 자동에코 (DAE). 이는 다국어 전이를 강화하고 임의의 상관관계를 감소시킨다.
• 모델을 단일 언어 자연어 생성 데이터(예: 질문 생성, 개괄적 요약)로 미세조정하여 다국어 입력 및 출력에 대한 직접 평가를 가능하게 한다.
• 전체 파라미터 미세조정, 디코더 전용 미세조정, 인코더 전용 미세조정의 세 가지 전략을 탐색하여 과제 특화 성능과 다국어 일반화 능력의 균형을 맞춘다.
• 영어, 중국어, 프랑스어의 다국어 훈련 데이터를 사용하여 다양한 언어 조합 간 제로샷 및 피셔샷 다국어 생성을 평가한다.
• 질문 생성 및 개괄적 요약을 위한 두 개의 새로운 다국어 자연어 생성 데이터셋을 제안한다. 이는 세 언어를 포함한다.

실험 결과

연구 질문

• RQ1 목표 언어에 대한 사전 훈련 없이도 단일 사전 훈련된 시퀀스 투 시퀀스 모델이 제로샷 다국어 자연어 생성을 가능하게 할 수 있는가?
• RQ2 단일 언어 및 다국어 목표를 동시에 사전 훈련함으로써 자연어 생성 작업의 다국어 전이 능력은 어떻게 향상되는가?
• RQ3 다국어 전이가 자원이 부족한 언어에서 자원이 풍부한 언어 데이터를 활용하여 성능을 향상시키는가?
• RQ4 다양한 미세조정 전략은 과제 특화 성능와 다국어 일반화 능력 간의 균형에 어떻게 영향을 미치는가?
• RQ5 기계 번역 기반 파이프라인과 비교할 때 Xnlg는 생성 품질과 오류 전파 측면에서 어떻게 다른가?

주요 결과

• Xnlg는 기계 번역 기반 파이프라인보다 제로샷 다국어 질문 생성에서 더 뛰어난 성능을 보이며, 중국어-중국어 생성에서 ROUGE-2 34.93을 기록한다.
• 인코더만 미세조정할 경우 강력한 다국어 성능을 보이며(중국어-중국어 질문 생성에서 ROUGE-2 34.93), 디코더만 미세조정할 경우 과적합으로 인해 심각한 성능 저하가 발생한다.
• XAE와 DAE 사전 훈련 목표의 조합은 임의의 상관관계를 감소시키고 제로샷 다국어 자연어 생성 성능을 향상시키며, 추론 실험을 통해 이를 입증한다.
• 다국어 전이가 자원이 부족한 언어(예: 프랑스어, 중국어)에서 피처샷 개괄적 요약 성능을 크게 향상시키며, 특히 제한된 훈련 데이터에서 두드러진다.
• 사례 연구 결과 Xnlg는 XLM 및 파이프라인 기반 기준 모델보다 더 정확하고 참조 문장과 일치하는 출력을 생성하며, 다단계 번역에서 발생하는 오류 전파를 피하는 데 성공한다.
• 영어 질문 생성에서 경쟁적인 성능(ROUGE-2 48.74)을 기록하며, 모든 언어 조합에서 강력한 제로샷 능력을 유지한다.