[논문 리뷰] Multi-Task Learning for Cross-Lingual Abstractive Summarization

Sho Takase, Naoaki Okazaki|arXiv (Cornell University)|2020. 10. 15.

Topic Modeling참고 문헌 33인용 수 6

한 줄 요약

이 논문은 진정한 단일 언어 요약 데이터, 병렬 번역 쌍, 그리고 특수 작업 전용 토큰을 사용한 가짜 다국어 요약 데이터를 함께 훈련시켜 다국어 개괄 요약 성능을 향상시키는 멀티태스크 학습 프레임워크인 Transum을 제안한다. 이 방법은 중국어-영어 및 아랍어-영어 요약에서 최신 기준 성능을 달성하며, 강력한 기준 모델 대비 기계 번역 성능을 크게 향상시킨다.

ABSTRACT

We present a multi-task learning framework for cross-lingual abstractive summarization to augment training data. Recent studies constructed pseudo cross-lingual abstractive summarization data to train their neural encoder-decoders. Meanwhile, we introduce existing genuine data such as translation pairs and monolingual abstractive summarization data into training. Our proposed method, Transum, attaches a special token to the beginning of the input sentence to indicate the target task. The special token enables us to incorporate the genuine data into the training data easily. The experimental results show that Transum achieves better performance than the model trained with only pseudo cross-lingual summarization data. In addition, we achieve the top ROUGE score on Chinese-English and Arabic-English abstractive summarization. Moreover, Transum also has a positive effect on machine translation. Experimental results indicate that Transum improves the performance from the strong baseline, Transformer, in Chinese-English, Arabic-English, and English-Japanese translation datasets.

연구 동기 및 목표

• 기존의 진정한 병행 어휘 자료, 즉 단일 언어 요약 및 번역 쌍을 활용하여 대규모 다국어 개괄 요약 데이터셋의 부족함을 해결한다.
• 기계 번역을 통해 생성된 가짜 병행 데이터만으로 훈련된 모델보다 다국어 개괄 요약 성능을 향상시키기 위해 노력한다.
• 다양한 유형의 데이터를 사용한 멀티태스크 학습이 동시에 요약 및 기계 번역 성능 향상에 기여할 수 있는지 탐색한다.
• 문서당 다수의 길이 제약 조건을 포함하는 더 현실적인 평가 기준을 개발한다.

제안 방법

• 모델은 특수 작업 토큰(예: <Trans>, <Summ>)을 입력 문장 앞에 붙여 목표 작업을 나타내는 공유 인코더-디코더 아키텍처를 사용한다.
• 모델은 동일한 아키텍처를 사용하여 기계 번역, 단일 언어 개괄 요약, 다국어 개괄 요약의 세 가지 작업을 함께 훈련시킨다.
• 가짜 다국어 요약 데이터는 원본 문서를 번역한 후 번역된 텍스트를 요약하여 훈련 쌍을 구성한다.
• 아키텍처 수정 없이도 진정한 단일 언어 요약 데이터와 병행 번역 쌍을 훈련 데이터에 통합한다.
• 작업 전용 토큰을 통해 추론 시 모델이 목표 작업에 따라 동적으로 행동을 적응시킬 수 있다.
• 기존의 단일 언어 요약 데이터셋을 다수의 길이 요약으로 번역하여 실제 길이 제약 조건을 시뮬레이션하는 새로운 테스트 세트를 구성한다.

실험 결과

연구 질문

• RQ1 진정한 단일 언어 요약 및 번역 데이터를 통합하면 가짜 데이터만 사용하는 훈련 방식보다 다국어 개괄 요약 성능 향상에 기여하는가?
• RQ2 각 작업에 전용 디코더를 갖춘 복잡한 아키텍처보다 간단한 작업 토큰을 사용한 멀티태스크 학습 설정이 성능을 더 잘 냅니다.
• RQ3 다양한 유형의 데이터를 사용한 멀티태스크 학습이 기계 번역 성능 향상에 어느 정도 기여하는가?
• RQ4 단일 아키텍처를 사용해 번역, 요약, 다국어 요약과 같은 다수의 NLP 작업을 효과적으로 처리할 수 있는가?
• RQ5 문서당 다수의 길이 제약 조건이 있는 현실적인 평가 조건에서 모델의 성능은 어떠한가?

주요 결과

• Transum은 중국어-영어 및 아랍어-영어 다국어 개괄 요약에서 최신 기준 ROUGE 점수를 달성하며 이전 방법들을 능가한다.
• 특수 설계 없이도 중국어-영어 번역에서 트랜스포머 기준 모델 대비 약 8 BLEU 포인트 향상된 기계 번역 성능을 보였다.
• Transum은 JIJI 영어-일본어 번역 벤치마크에서 이전 최고 기록을 초월하여 뛰어난 일반화 능력을 입증했다.
• 요약 및 번역 데이터와 함께 공동 훈련할 경우 기계 번역 작업 성능이 크게 향상된다.
• 다양한 길이 제약 조건을 포함한 새로운 테스트 세트를 통해 Transum이 출력 길이를 효과적으로 제어함을 확인했으며, 실제 요약 요구 조건을 잘 시뮬레이션한다.
• 추가 디코더가 필요한 Zhu 등(2019)의 다중 작업 접근 방식보다도 단순한 설계(단지 작업 토큰만 사용)에도 불구하고 Transum의 성능이 뛰어나다.