[논문 리뷰] Bridging the Gap: Cross-Lingual Summarization with Compression Rate.

Yu Bai, Heyan Huang외 4명|arXiv (Cornell University)|2021. 10. 15.

Topic Modeling참고 문헌 19인용 수 11

한 줄 요약

이 논문은 압축률을 고려한 다국어 요약(Cross-lingual Summarization with Compression rate, CSC)을 소개한다. 이는 기계 번역(MT)을 100% 압축률을 가진 다국어 요약의 특수한 케이스로 간주하는 통합 프레임워크이다. 대규모 MT 코퍼스를 활용하고 압축률을 다양하게 설정한 데이터 증강 기법을 통해 요약을 생성함으로써, CLS 성능을 향상시키고 요약 길이를 제어 가능하게 한다. 이는 강력한 베이스라인을 능가한다.

ABSTRACT

Cross-lingual Summarization (CLS), converting a document into a cross-lingual summary, is highly related to Machine Translation (MT) task. However, MT resources are still underutilized for the CLS task. In this paper, we propose a novel task, Cross-lingual Summarization with Compression rate (CSC), to benefit cross-lingual summarization through large-scale MT corpus. Through introducing compression rate, we regard MT task as a special CLS task with the compression rate of 100%. Hence they can be trained as a unified task, sharing knowledge more effectively. Moreover, to bridge these two tasks smoothly, we propose a simple yet effective data augmentation method to produce document-summary pairs with different compression rates. The proposed method not only improves the performance of CLS task, but also provides controllability to generate summaries in desired lengths. Experiments demonstrate that our method outperforms various strong baselines.

연구 동기 및 목표

• 다국어 요약(Cross-lingual Summarization, CLS)에서 대규모 기계 번역(MT) 자원이 부족하게 활용되는 문제를 해결하기 위해.
• 압축률을 공통의 감독 신호로 도입하여 CLS와 MT 작업을 통합하기 위해.
• 다양한 압축률에서 문서-요약 쌍을 생성함으로써 요약 생성의 제어 가능성을 확보하기 위해.
• 대규모 MT 코퍼스에서의 지식 정복을 통해 CLS 성능 향상시키기 위해.

제안 방법

• 기계 번역을 100% 압축률을 가진 다국어 요약의 특수한 케이스로 간주하는 새로운 작업인 압축률을 고려한 다국어 요약(Cross-lingual Summarization with Compression rate, CSC)을 제안한다.
• MT 작업을 CLS의 특수한 케이스로 간주하여 공통 학습과 지식 전이를 가능하게 한다.
• 다양한 압축률을 가진 합성 문서-요약 쌍을 생성하기 위한 데이터 증강 기법을 설계한다.
• 압축률을 추론 및 학습 중 요약 길이를 지시하는 제어 신호로 사용한다.
• CLS 및 MT 데이터 모두에 대해 통합된 CSC 목적함수를 기반으로 통합 모델을 학습한다. 이는 작업 간 공통 표현을 활용한다.
• 표준 순차적-순차적 모델과 어텐션 메커니즘을 사용하며, 통합된 CSC 목적함수에 맞게 미세조정한다.

실험 결과

연구 질문

• RQ1 기계 번역 데이터가 다국어 요약 향상에 효과적으로 재활용될 수 있는가?
• RQ2 압축률을 어떻게 통합 신호로 활용하여 CLS와 MT 작업을 연결할 수 있는가?
• RQ3 다양한 압축률을 가진 데이터 증강이 요약 생성의 제어 가능성 향상에 기여하는가?
• RQ4 압축률 감독 하에 CLS 및 MT 데이터를 공동으로 학습함으로써 전체 성능 향상이 이루어지는가?

주요 결과

• 제안된 CSC 프레임워크는 다국어 요약 벤치마크에서 여러 강력한 베이스라인을 능가한다.
• 통합 학습을 통해 대규모 MT 코퍼스를 활용함으로써 요약 품질이 향상된다.
• 추론 시 압축률을 조정함으로써 요약 길이를 제어할 수 있다.
• 통합 학습 기반으로 MT에서 CLS로의 지식 전이가 효과적으로 이루어져 모델 일반화 능력이 향상된다.