[論文レビュー] Bridging the Gap: Cross-Lingual Summarization with Compression Rate.

Yu Bai, Heyan Huang+4 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling参考文献 19被引用数 11

ひとこと要約

本稿では、100%の圧縮率を伴うクロスリンガル要約（CLS）の特殊ケースとして機械翻訳（MT）を扱う統一フレームワークである、圧縮率を伴うクロスリンガル要約（CSC）を紹介する。大規模なMTコーパスとデータ拡張法を活用して、さまざまな圧縮率での要約を生成することで、CLSの性能が向上し、要約長の制御が可能となり、強力なベースラインを上回る。

ABSTRACT

Cross-lingual Summarization (CLS), converting a document into a cross-lingual summary, is highly related to Machine Translation (MT) task. However, MT resources are still underutilized for the CLS task. In this paper, we propose a novel task, Cross-lingual Summarization with Compression rate (CSC), to benefit cross-lingual summarization through large-scale MT corpus. Through introducing compression rate, we regard MT task as a special CLS task with the compression rate of 100%. Hence they can be trained as a unified task, sharing knowledge more effectively. Moreover, to bridge these two tasks smoothly, we propose a simple yet effective data augmentation method to produce document-summary pairs with different compression rates. The proposed method not only improves the performance of CLS task, but also provides controllability to generate summaries in desired lengths. Experiments demonstrate that our method outperforms various strong baselines.

研究の動機と目的

• クロスリンガル要約（CLS）における大規模な機械翻訳（MT）リソースの未利用状態を是正すること。
• 圧縮率を共有の監視信号として導入することで、CLSとMTのタスクを統一すること。
• さまざまな圧縮率での文書-要約ペairを生成することで、要約生成の制御性を実現すること。
• 大規模なMTコーパスからの知識蒸留を通じて、CLSの性能を向上させること。

提案手法

• 機械翻訳（MT）を100%の圧縮率を伴うCLSの特殊ケースとして扱う、新しいタスク「圧縮率を伴うクロスリンガル要約（CSC）」を提案する。
• MTタスクをCLSの特殊ケースとして扱い、共通の訓練と知識の転送を可能にする。
• 多様な圧縮率を持つ合成文書-要約ペアを生成するためのデータ拡張法を設計する。
• 圧縮率を推論時および訓練時の要約長の制御信号として用いる。
• CLSとMTの両データ上で統一モデルを訓練し、タスク間で共有される表現を活用する。
• 標準的な注意メカニズムを備えたシーケンス・トゥ・シーケンスモデルを採用し、統一されたCSC目的で微調整する。

実験結果

リサーチクエスチョン

• RQ1 機械翻訳データは、クロスリンガル要約の向上に効果的に再利用可能か？
• RQ2 圧縮率をどのように統一信号として用いることで、CLSとMTのタスクを統合できるか？
• RQ3 多様な圧縮率を用いたデータ拡張により、要約生成の制御性が向上するか？
• RQ4 圧縮率の監視のもとでCLSとMTデータを共同で訓練することで、全体の性能が向上するか？

主な発見

• 提案されたCSCフレームワークは、クロスリンガル要約ベンチマークで複数の強力なベースラインを上回っている。
• 統一訓練を通じて大規模なMTコーパスを活用することで、要約品質が向上している。
• 推論時に圧縮率を調整することで、要約生成の制御が可能になっている。
• 統一された訓練スキームにより、MTからCLSへの知識転送が効果的に実現され、モデルの汎化性能が向上している。