[論文レビュー] Multi-Task Learning for Cross-Lingual Abstractive Summarization

Sho Takase, Naoaki Okazaki|arXiv (Cornell University)|Oct 15, 2020

Topic Modeling参考文献 33被引用数 6

ひとこと要約

本稿では、真の単語言語要約データ、並列翻訳ペア、および特別なタスク固有トークンを用いた疑似クロスリンガル要約データを共同で学習することで、クロスリンガル抽象的要約性能を向上させるマルチタスク学習フレームワーク「Transum」を提案する。この手法は中国語-英語およびアラビア語-英語要約で最先端のROUGEスコアを達成し、強力なベースラインを上回る機械翻訳性能を顕著に改善する。

ABSTRACT

We present a multi-task learning framework for cross-lingual abstractive summarization to augment training data. Recent studies constructed pseudo cross-lingual abstractive summarization data to train their neural encoder-decoders. Meanwhile, we introduce existing genuine data such as translation pairs and monolingual abstractive summarization data into training. Our proposed method, Transum, attaches a special token to the beginning of the input sentence to indicate the target task. The special token enables us to incorporate the genuine data into the training data easily. The experimental results show that Transum achieves better performance than the model trained with only pseudo cross-lingual summarization data. In addition, we achieve the top ROUGE score on Chinese-English and Arabic-English abstractive summarization. Moreover, Transum also has a positive effect on machine translation. Experimental results indicate that Transum improves the performance from the strong baseline, Transformer, in Chinese-English, Arabic-English, and English-Japanese translation datasets.

研究の動機と目的

• 単語言語要約と翻訳ペアといった既存の真の並列コーパスを活用することで、大規模なクロスリンガル抽象的要約データセットの不足を解消すること。
• 機械翻訳によって生成された疑似並列データにのみ学習させたモデルよりも、クロスリンガル抽象的要約の性能を向上させること。
• 多様なデータタイプを用いたマルチタスク学習が、同時に要約と機械翻訳の性能を向上させることを検証すること。
• 文書ごとに複数の長さ制約を含む、より現実的なクロスリンガル要約の評価ベンチマークを構築すること。

提案手法

• モデルは、タスクを示す特別なタスクトークン（例：<Trans>、<Summ>）を入力文の先頭に付加することで、タスクに応じて動作を動的に変更できる共有エンコーダデコーダアーキテクチャを採用する。
• モデルは、機械翻訳、単語言語要約、クロスリンガル要約の3つのタスクを、同じアーキテクチャで共同学習する。
• 疑似クロスリンガル要約データは、元のドキュメントを翻訳したのちにその翻訳文を要約することで構築され、学習ペアが形成される。
• アーキテクチャの変更なしに、真の単語言語要約データと並列翻訳ペアを学習データに統合する。
• タスク固有トークンにより、推論時におけるモデルの動作をタスクに応じて動的に適応可能にする。
• 既存の単語言語要約コーパスを複数の長さの要約付きに翻訳することで、現実的な長さ制御要約を模倣する新しいテストセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 真の単語言語要約および翻訳データを組み込むことで、疑似データのみで学習した場合に比べ、クロスリンガル抽象的要約の性能が向上するか？
• RQ2 各タスクに専用デコーダを備えた複雑なアーキテクチャよりも、タスクトークンを用いたシンプルなマルチタスク学習設定が優れているか？
• RQ3 多様なデータタイプを用いたマルチタスク学習が、下流の機械翻訳性能にどの程度向上効果をもたらすか？
• RQ4 1つのアーキテクチャで翻訳、要約、およびクロスリンガル要約の複数のNLPタスクを効果的に処理できるか？
• RQ5 文書ごとに複数の長さ制約を含む現実的な評価条件下で、モデルの性能はどの程度か？

主な発見

• Transumは中国語-英語およびアラビア語-英語のクロスリンガル抽象的要約で最先端のROUGEスコアを達成し、以前の手法を上回る。
• タスク固有の設計を一切行わずに、中国語-英語翻訳でTransformerベースラインを約8 BLEUポイント上回る機械翻訳性能を実現する。
• JIJI英語-日本語翻訳ベンチマークでも、以前のトップスコアを上回り、優れた一般化性能を示す。
• 要約と翻訳データを共同で学習させることで、機械翻訳タスクの性能が顕著に向上する。
• 複数の長さ制約を含む新しいテストセットにより、Transumが実際に出力長を効果的に制御でき、現実世界の要約要件を模倣していることが明らかになった。
• 追加のデコーダを必要とするZhuら（2019）のマルチタスクアプローチを上回る性能を、単一のタスクトークンのみを用いたよりシンプルな設計でも達成している。