[論文レビュー] Leveraging Lead Bias for Zero-shot Abstractive News Summarization

Chenguang Zhu, Ziyi Yang+3 more|arXiv (Cornell University)|Dec 25, 2019

Topic Modeling参考文献 35被引用数 8

ひとこと要約

本稿では、2140万件のニュース記事から構成される大規模でフィルタリングされたコーパスを用いて、要約モデルの事前学習においてニュース記事のリードバイアスを活用する手法を提案する。この手法により、微調整なしでDUC2003でBARTのROUGE-1スコアを13.7%向上させ、ゼロショット性能で最先端を達成した。

ABSTRACT

A typical journalistic convention in news articles is to deliver the most salient information in the beginning, also known as the lead bias. While this phenomenon can be exploited in generating a summary, it has a detrimental effect on teaching a model to discriminate and extract important information in general. We propose that this lead bias can be leveraged in our favor in a simple and effective way to pre-train abstractive news summarization models on large-scale unlabeled news corpora: predicting the leading sentences using the rest of an article. We collect a massive news corpus and conduct data cleaning and filtering via statistical analysis. We then apply self-supervised pre-training on this dataset to existing generation models BART and T5 for domain adaptation. Via extensive experiments on six benchmark datasets, we show that this approach can dramatically improve the summarization quality and achieve state-of-the-art results for zero-shot news summarization without any fine-tuning. For example, in the DUC2003 dataset, the ROUGE-1 score of BART increases 13.7% after the lead-bias pre-training. We deploy the model in Microsoft News and provide public APIs as well as a demo website for multi-lingual news summarization.

研究の動機と目的

• 高コストな微調整を伴わず、低リソースでゼロショットの要約を実現する挑戦に応えること。
• リードバイアスがモデルの一般化性能に悪影響を及えるのを防ぐために、それを便宜的な信号としてではなく、事前学習信号として活用すること。
• ラベルなしデータを用いて一般言語モデル（BART、T5）をニュース要約分野に適応させる自己教師付き事前学習手法を開発すること。
• タスク固有の適応なしに、複数のデータセットおよび複数の言語で効果的なゼロショット要約を可能にすること。
• Microsoft Newsで本番環境に導入された高品質で多言語対応の要約システム（公開APIおよびデモサイトを備える）を実現すること。

提案手法

• 本手法は、リードバイアスの予測を自己教師付き事前学習の目的関数として定式化する：ニュース記事の非リード部分を入力として与え、要約としてのリード文を予測する。
• Bing検索インデックスを3年間分用いて、2140万件のニュース記事からなる大規模なニュースコーパスを収集した。
• 統計的閾値を用いたデータフィルタリングを実施：上位3文と残りの本文との間で、ストップワードを除いた語の重複率が0.65以上である記事のみを保持した。
• このフィルタリング済みデータを用いて、BARTおよびT5モデルを事前学習目的関数で微調整し、BART-LBおよびT5-LBモデルを生成した。
• 得られたモデルはゼロショット設定で使用され、微調整やタスク固有の適応なしにテストデータセットに直接適用された。
• 多言語対応のため、非英語記事は英語に翻訳され、ゼロショットモデルで要約され、再びAzure Translatorを用いて元の言語に翻訳された。

実験結果

リサーチクエスチョン

• RQ1 ニュース記事におけるリードバイアスを、ゼロショットの抽象的要約性能を向上させる自己教師付き信号として活用できるか？
• RQ2 リード予測を用いたラベルなしニュースデータでの事前学習により、学習分布外の一般化性能が向上するか？
• RQ3 提案手法は、複数のベンチマークデータセットでゼロショットおよび非教師ありベースラインと比較して優れているか？
• RQ4 微調整なしに、異なるニュース分野や言語に一般化できるか？
• RQ5 モデルは単にリード文をコピーするのではなく、抽象的かつ再構成された要約を生成するか？

主な発見

• BART-LBは、微調整なしでDUC2003で元のBARTモデルと比較してROUGE-1スコアを13.7%絶対値で向上させた。
• DUC2004およびXSumでは、それぞれROUGE-1で8.3%および6.9%向上し、元のBARTおよび他のゼロショットベースラインを上回った。
• CNN/DailyMail、XSum、Gigawordsの各データセットで、PEGASUSのゼロショット版と比較して、ROUGE-1で7.6%、6.9%、1.8%向上した。
• 人的評価では、BART-LBおよびT5-LBがBARTおよびT5と比較して論理的な流れが良く、抽象的要約としての品質が優れていることが確認された。繰り返しや論理的でない表現は避けられている。
• 誤り分析の結果、最も一般的な誤りタイプは無関係な詳細の含み込み（50例中17例）、次に不適切な共参照（50例中12例）であり、事実誤認は比較的まれ（50例中5例）であった。
• モデルはハイパーパrameterの選択に対して頑健であり、要約が再構成され、論理的に順序立てられていることから、単にリード文をコピーしているわけではないことが裏付けられた。