[論文レビュー] CrossSum: Beyond English-Centric Cross-Lingual Summarization for 1,500+ Language Pairs

Abhik Bhattacharjee, Tahmid Hasan+4 more|arXiv (Cornell University)|Dec 16, 2021

Topic Modeling被引用数 6

ひとこと要約

CrossSumは、多言語要約からクロスリンガルリtrievalを用いて作成された、1500以上の言語ペアにわたる168万件のサンプルを含む、公開済みで最大のクロスリンガル要約データセットを提供する。多段階サンプリング戦略と、埋め込みベースの評価指標であるLaSEを提案し、エンドツーエンドのXLSモデルが英語にとどまらず多言語に一般化できることを可能にし、多様な言語ペアにおいてROUGEスコアおよびLaSEスコアの両面でベースラインを上回る性能を発揮する。

ABSTRACT

We present CrossSum, a large-scale cross-lingual summarization dataset comprising 1.68 million article-summary samples in 1,500+ language pairs. We create CrossSum by aligning parallel articles written in different languages via cross-lingual retrieval from a multilingual abstractive summarization dataset and perform a controlled human evaluation to validate its quality. We propose a multistage data sampling algorithm to effectively train a cross-lingual summarization model capable of summarizing an article in any target language. We also introduce LaSE, an embedding-based metric for automatically evaluating model-generated summaries. LaSE is strongly correlated with ROUGE and, unlike ROUGE, can be reliably measured even in the absence of references in the target language. Performance on ROUGE and LaSE indicate that our proposed model consistently outperforms baseline models. To the best of our knowledge, CrossSum is the largest cross-lingual summarization dataset and the first ever that is not centered around English. We are releasing the dataset, training and evaluation scripts, and models to spur future research on cross-lingual summarization. The resources can be found at https://github.com/csebuetnlp/CrossSum

研究の動機と目的

• 低リソース言語の研究を制限する大規模かつ英語中心でないクロスリンガル要約データセットの不足を解消すること。
• パイプライン手法や英語ピボットモデルの限界を克服すること。
• 多言語要約データからのクロスリンガルリtrievalを用いた、スケーラブルで高品質なデータキュレーション手法の開発。
• 任意のソース・ターゲット言語ペアのエンドツーエンドモデルの有効な訓練を可能にする多段階サンプリング戦略の設計。
• ROUGEと相関が強く、低リソース言語の評価をサポートする、参照なしの評価指標であるLaSEの導入。

提案手法

• クロスリンガルリtrievalを用いて、多言語XL-Sumデータセットの並列記事を対応づけ、1500以上の言語ペアにわたる記事-要約ペアを構築する。
• カバレッジを最大化しながらアライメント品質を保持するため、「誘導ペア」と「暗黙の漏れ」の制御を用いてデータセットをキュレーションする。
• 固定されたターゲット言語を持つミニバッチを形成することで、学習安定性と一般化性能を向上させる多段階言語サンプリング（MLS）アルゴリズムを提案する。
• mT5-baseを用いてCrossSumでファインチューニングを行い、バッチサイズ256、サンプリング要因α=0.25として、30件未満のサンプルを有するペアは破棄する。
• 推論時、デコーダーは言語固有のBOSトークンで初期化され、長さペナルティを用いたビームサーチが使用され、生成を制御する。
• LaSEは、埋め込みベースの指標であり、任意の言語において生成要約と参照要約の意味的類似度を計算する。参照がターゲット言語に存在しない場合でも利用可能である。

実験結果

リサーチクエスチョン

• RQ1 多言語要約データからの自動アライメントを用いて、大規模かつ英語中心でないクロスリンガル要約データセットを効果的に構築できるか？
• RQ2 標準的なサンプリングや1対多／ほとんど1対多の訓練方式と比較して、多段階サンプリング戦略は多様なソース・ターゲット言語ペアにおけるモデルの一般化性能を顕著に向上させるか？
• RQ3 LaSEは、ROUGEと強く相関し、低リソース言語の評価をサポートする信頼性の高い参照なし評価指標として機能できるか？
• RQ4 CrossSumで訓練されたエンドツーエンドのクロスリンガルモデルの性能は、パイプラインベースラインや1対多／ほとんど1対多モデルと比較して、高リソースおよび低リソース言語ペアの両方で優れているか？
• RQ5 提案されたトレーニング戦略は、データの不均衡をどれほど軽減し、不足している言語ペアの性能を向上させるか？

主な発見

• CrossSumは、1500以上の言語ペアにわたる168万件のサンプルを有する、公開済みで最大の要約的クロスリンガル要約データセットであり、英語中心ではない最初のものである。
• 提案された多段階サンプリング戦略（m2m-tgt）は、標準的なサンプリング（m2m-large）と比較して42％の言語ペアで顕著に優れた性能を発揮し、特に低リソース言語ペアの改善が顕著である。
• m2m-tgtモデルは、1対多や要約後に翻訳するモデルを含むすべてのベースラインを、多様な言語ペアにおいて上回る。
• LaSEはROUGE-Lin (2004)と強く相関し、高い相関係数を示しており、信頼性の高い参照なし評価指標であることが裏付けられる。
• アブレーションスタディにより、ミニバッチ内でターゲット言語を固定する（m2m-tgt）戦略が、ソース言語を固定する（m2m-src）戦略よりも優れた結果をもたらすことが確認された。m2m-srcは顕著に性能が劣る。
• 人的評価により、高リソースから低リソースに至る9言語において、高いアライメント正確性が確認され、データセットの品質が裏付けられた。