[論文レビュー] Make Lead Bias in Your Favor: Zero-shot Abstractive News Summarization

Chenguang Zhu, Ziyi Yang+3 more|arXiv (Cornell University)|Dec 25, 2019

Topic Modeling参考文献 10被引用数 6

ひとこと要約

本論文では、新聞記事におけるリードバイアスを、要約文を残りの本文から予測することで、要約抽出の自己教師付き事前学習信号として活用する手法を提案する。大規模でクリーニングされたニュースコーパスを用いて、微調整なしで6つのベンチマークでゼロショット性能が著しく向上し、BARTはDUC2003で微調整なしにROUGE-1スコアが13.7%向上した。

ABSTRACT

Lead bias is a common phenomenon in news summarization, where early parts of an article often contain the most salient information. While many algorithms exploit this fact in summary generation, it has a detrimental effect on teaching the model to discriminate and extract important information in general. We propose that the lead bias can be leveraged in our favor in a simple and effective way to pre-train abstractive news summarization models on large-scale unlabeled news corpora: predicting the leading sentences using the rest of an article. We collect a massive news corpus and conduct data cleaning and filtering via statistical analysis. We then apply the proposed self-supervised pre-training to existing generation models BART and T5 for domain adaptation. Via extensive experiments on six benchmark datasets, we show that this approach can dramatically improve the summarization quality and achieve state-of-the-art results for zero-shot news summarization without any fine-tuning. For example, in the DUC2003 dataset, the ROUGE-1 score of BART increases 13.7% after the lead-bias pre-training. We deploy the model in Microsoft News and provide public APIs as well as a demo website for multi-lingual news summarization.

研究の動機と目的

• 微調整なしでゼロショット一般化を可能にするために、低リソースな要約抽出型ニュース要約の課題に対処する。
• 推論時にリードバイアスに強く依存する既存モデルの限界を克服し、一般化を妨げる要因を解消する。
• リードバイアスを監視信号として活用する自己教師付き事前学習目的を設計し、表現学習を向上させる。
• 大規模なラベルなしデータを用いて、BART や T5 などの既存の生成型モデルをニュース要約にドメイン適応可能にする。
• シンプルだが効果的な事前学習戦略により、複数のベンチマークデータセットで最先端のゼロショット性能を達成する。

提案手法

• 低品質またはノイズの多い記事を除去するためのデータ収集と統計的フィルタリングを経て、大規模なニュースコーパスを構築する。
• 本文の残りの部分のみを用いて、記事のリード文を予測する自己教師付き事前学習目的を設計する。
• 表現を整列させるために、対照的学習目的を用いてマスクされたリード予測タスクで事前学習モデルを微調整する。
• BART や T5 などの事前学習モデルを、このリードバイアス事前学習により、微調整なしに要約抽出型ニュース要約に適応する。
• 未学習のニュース記事に対して、事前学習モデルを直接推論に使用し、ゼロショット要約を実現する。
• 最終モデルを Microsoft News に導入し、一般公開用の API とマルチリンガルデモウェブサイトをリリースして、広範なアクセスを可能にする。

実験結果

リサーチクエスチョン

• RQ1 新聞記事に見られるリードバイアスを、要約抽出の自己教師付き信号として効果的に再利用できるか？
• RQ2 リード予測タスクで事前学習することで、未学習のデータセットにおけるゼロショット要約性能が向上するか？
• RQ3 マスク言語モデル学習と比較して、この手法は一般化性能をどの程度向上させるか？
• RQ4 複数のベンチマークデータセットにおいて、ROUGEスコアの観点から、この手法は既存のアプローチと比べてどの程度優れているか？
• RQ5 微調整なしで、ダウンストリームデータセットに対して最先端のゼロショット性能を達成できるか？

主な発見

• 提案されたリードバイアス事前学習手法は、6つのベンチマークデータセットにおいて、ゼロショット要約性能を顕著に向上させた。
• DUC2003 データセットでは、BART の ROUGE-1 スコアがリードバイアス事前学習後、13.7% 向上し、顕著な性能向上を示した。
• ダウンストリームデータへの微調整を一切必要とせず、ゼロショットニュース要約で最先端の結果を達成した。
• マルチリンガルデモと一般公開APIの導入により、異なるニュースドメインや言語間でも効果的な一般化が実証された。
• 要約に関する明示的监督なしに、顕著な情報抽出能力の向上が自己教師付き事前学習目的によって達成された。
• スコアの向上は複数の ROUGE メトリクスにわたり一貫しており、文の自然さと事実の再現性の両方において、堅牢な改善が見られた。