[논문 리뷰] CrossSum: Beyond English-Centric Cross-Lingual Summarization for 1,500+ Language Pairs

Abhik Bhattacharjee, Tahmid Hasan외 4명|arXiv (Cornell University)|2021. 12. 16.

Topic Modeling인용 수 6

한 줄 요약

CrossSum는 다국어 개요 요약에서 유도된 다국어 간 검색을 통해 1500개 이상의 언어 쌍을 포함해 총 168만 개의 샘플을 포함한 가장 큰 공개 가능한 다국어 요약 데이터셋을 제공한다. 이는 다국어 단계적 샘플링 전략과 LaSE라는 임베딩 기반 평가 지표를 제안하여 영어를 중심으로 하지 않는 엔드 투 엔드 XLS 모델이 다양한 언어 쌍에서 일반화할 수 있도록 하며, 다양한 언어 쌍에서 ROUGE 및 LaSE 점수 모두에서 베이스라인을 초월한다.

ABSTRACT

We present CrossSum, a large-scale cross-lingual summarization dataset comprising 1.68 million article-summary samples in 1,500+ language pairs. We create CrossSum by aligning parallel articles written in different languages via cross-lingual retrieval from a multilingual abstractive summarization dataset and perform a controlled human evaluation to validate its quality. We propose a multistage data sampling algorithm to effectively train a cross-lingual summarization model capable of summarizing an article in any target language. We also introduce LaSE, an embedding-based metric for automatically evaluating model-generated summaries. LaSE is strongly correlated with ROUGE and, unlike ROUGE, can be reliably measured even in the absence of references in the target language. Performance on ROUGE and LaSE indicate that our proposed model consistently outperforms baseline models. To the best of our knowledge, CrossSum is the largest cross-lingual summarization dataset and the first ever that is not centered around English. We are releasing the dataset, training and evaluation scripts, and models to spur future research on cross-lingual summarization. The resources can be found at https://github.com/csebuetnlp/CrossSum

연구 동기 및 목표

• 낮은 자원 언어 연구를 제한하는 대규모 비영어 중심의 다국어 요약 데이터셋 부족 문제를 해결하기 위해.
• 다국어 요약에서 파이프라인 방법과 영어 기반 모델의 한계를 극복하기 위해.
• 다국어 개요 요약 데이터로부터의 다국어 간 검색을 활용한 확장 가능하고 고품질의 데이터 정제 방법을 개발하기 위해.
• 모든 원본-대상 언어 쌍에 대해 엔드 투 엔드 모델의 효과적인 훈련을 가능하게 하는 다단계 샘플링 전략을 설계하기 위해.
• ROUGE와 강한 상관관계를 보이며 낮은 자원 언어 평가를 지원하는 참조 없는 평가 지표인 LaSE를 도입하기 위해.

제안 방법

• 다국어 XL-Sum 데이터셋으로부터의 다국어 간 검색을 사용하여 1500개 이상의 언어 쌍을 포함한 기사-요약 쌍을 형성한다.
• 커버리지 최대화와 동시에 정렬 품질 유지를 위해 '유도된 쌍'과 '암묵적 泄露' 제어를 사용하여 데이터셋을 정제한다.
• 고정된 대상 언어를 가진 미니배치를 형성함으로써 훈련 안정성과 일반화를 향상시키는 다단계 언어 샘플링(MLS) 알고리즘을 제안한다.
• 모델은 mT5-base를 사용하여 CrossSum에서 테스트셋 배치 크기 256, 샘플링 요소 α=0.25로 미세조정하며, 30개 미만의 샘플을 가진 쌍은 기각한다.
• 추론 시 디코더는 언어별 BOS 토큰으로 초기화되며, 길이 페널티를 사용한 빔 서치를 통해 제어된 생성을 수행한다.
• LaSE는 생성된 요약과 기준 요약 간의 의미 유사도를 임베딩 기반으로 계산하는 참조 없는 평가 지표로, 기준 요약이 대상 언어에 존재하지 않을 경우에도 어떤 언어에서든 작동한다.

실험 결과

연구 질문

• RQ1 다국어 개요 요약에서 유도된 자동 정렬 기반으로 대규모 비영어 중심의 다국어 요약 데이터셋을 효과적으로 구축할 수 있는가?
• RQ2 표준 샘플링 또는 일대다/대부분 일대 모델 훈련 방식과 비교해 다단계 샘플링 전략이 다양한 원본-대상 언어 쌍에서 모델 일반화에 뚜렷한 향상을 이끌 수 있는가?
• RQ3 LaSE가 ROUGE와 강한 상관관계를 보이며 낮은 자원 언어 평가를 지원하는 신뢰할 수 있는 참조 없는 평가 지표로 기능할 수 있는가?
• RQ4 CrossSum에서 훈련된 엔드 투 엔드 다국어 요약 모델의 성능은 고자원 및 저자원 언어 쌍에서 파이프라인 베이스라인 및 일대다/대부분 일대 모델과 비교해 어떻게 되는가?
• RQ5 제안된 훈련 전략이 데이터 불균형 문제를 얼마나 효과적으로 완화하고, 표현이 부족한 언어 쌍에서 성능 향상에 기여하는가?

주요 결과

• CrossSum는 168만 개의 샘플을 포함한 가장 큰 공개 가능한 개요 요약 다국어 요약 데이터셋이며, 1500개 이상의 언어 쌍을 포함하고 있으며, 영어 중심이 아닌 첫 번째 데이터셋이다.
• 제안된 다단계 샘플링 전략(m2m-tgt)은 표준 샘플링(m2m-large)보다 42%의 언어 쌍에서 유의미하게 높은 성능을 기록하며, 특히 저자원 언어 쌍에서 향상이 두드러진다.
• m2m-tgt 모델은 일대다 및 요약-다음 번역 모델을 포함한 모든 베이스라인을 다양한 언어 쌍에서 앞서며 성능을 뛰어넘는다.
• LaSE는 ROUGE-Lin(2004)과 강한 상관관계를 보이며, 높은 상관계수를 보여 신뢰할 수 있는 참조 없는 평가 지표로 기능한다.
• 제거 실험 결과, 미니배치에서 대상 언어를 고정하는 것(m2m-tgt)이 원본 언어를 고정하는 것(m2m-src)보다 훨씬 우수한 성능을 내며, 후자는 유의미하게 열등하다.
• 인간 평가 결과, 고자원에서 저자원까지 9개 언어에서 높은 정렬 정확도를 확인하여 데이터셋 품질을 검증한다.