[論文レビュー] Make Lead Bias in Your Favor: A Simple and Effective Method for News Summarization

Chenguang Zhu, Ziyi Yang+3 more|arXiv (Cornell University)|Sep 25, 2019

Topic Modeling被引用数 15

ひとこと要約

この論文では、新聞記事におけるリードバイアスを活用して、要約生成のための事前学習目的を提案する。変換器モデルを、記事の残りの部分を文脈として、リード文を予測するように訓練する。きめ細やかなデータフィルタリングにより、モデルは強いゼロショット性能を達成し、微調整後には強力なベースラインを上回る。人的評価により、その有効性が確認されている。

ABSTRACT

Lead bias is a common phenomenon in news summarization, where early parts of an article often contain the most salient information. While many algorithms exploit this fact in summary generation, it has a detrimental effect on teaching the model to discriminate and extract important information. We propose that the lead bias can be leveraged in a simple and effective way in our favor to pretrain abstractive news summarization models on large-scale unlabeled corpus: predicting the leading sentences using the rest of an article. Via careful data cleaning and filtering, our transformer-based pretrained model without any finetuning achieves remarkable results over various news summarization tasks. With further finetuning, our model outperforms many competitive baseline models. Human evaluations further show the effectiveness of our method.

研究の動機と目的

• 要約生成における弱い教師信号の課題を、新聞記事に内在するリードバイアスを活用することで解決すること。
• 事前学習段階でラベル付き要約データを必要としない自己教師学習の事前学習手法を開発すること。
• ラベルなしの新聞コーパスのみを用いて、要約生成タスクで強いゼロショット性能を達成すること。
• リード文予測が、要約生成モデルのための有効な事前学習目的として機能することを示すこと。
• 下流の要約タスクにおいて、自動評価と人的評価の両方でこの手法を検証すること。

提案手法

• 変換器ベースのモデルを、記事の残りの部分を文脈として、新聞記事のリード文を予測するように事前学習する。
• ジャーナリズムの文体に内在する自然なリードバイアスを活用し、大規模なラベルなし新聞コーパスを用いて、リード予測の目的関数でモデルを学習する。
• 高品質な学習例を保証し、事前学習データのノイズを低減するために、きめ細やかなデータクリーニングとフィルタリングを実施する。
• 標準的な変換器の目的関数を用いて、エンドツーエンドでモデルを訓練する。ゼロショット評価には、追加の微調整を必要としない。
• 標準的な教師あり微調整プロトコルに従い、下流の要約タスクで事前学習モデルを微調整する。
• モデルのアテンションメカニズムとデコーダーの自己回帰的生成を用いて、入力記事から要約を生成する。

実験結果

リサーチクエスチョン

• RQ1 新聞記事におけるリードバイアスは、要約生成のための自己教師学習の事前学習目的として効果的に活用できるか？
• RQ2 リード文予測で事前学習したモデルは、教師ありベースラインと比較してゼロショット設定でどの程度の性能を示すか？
• RQ3 リード予測で事前学習したモデルを微調整することで、標準的な新聞要約ベンチマークで性能向上が得られるか？
• RQ4 自動評価と人的評価の両方において、モデルの性能は強力な競合モデルと比較してどうなるか？

主な発見

• 微調整なしの事前学習モデルは、新聞要約タスクで強いゼロショット性能を達成しており、リード予測目的の有効性が裏付けられている。
• 微調整後、モデルは標準的な新聞要約ベンチマークで、複数の強力なベースラインモデルを上回る性能を示した。
• 人的評価により、モデルが生成する要約は高品質であり、強力なベースラインと同等またはそれ以上の品質であることが確認された。
• この手法は、事前学習段階でラベル付き要約を必要とせず、新聞記事に内在する自然なリードバイアスを効果的に活用している。
• このアプローチはシンプルでスケーラブルであり、構造的変更を最小限に抑えながら、最先端の結果を達成している。