[論文レビュー] Searching for Effective Neural Extractive Summarization: What Works and What's Next

Ming Zhong, Pengfei Liu+3 more|arXiv (Cornell University)|Jul 8, 2019

Topic Modeling参考文献 36被引用数 20

ひとこと要約

この論文は、モデルアーキテクチャ、移譲可能な知識、学習スキームの広範な実証的分析を通じてニューラル抽出要約を調査する。自己教師あり事前学習（BERT）と強化学習を活用するフレームワークを提案し、CNN/DailyMailで42.69 ROUGE-1の新たなSOTAを達成した。文脈を考慮した表現と位置情報の認識がパフォーマンスに不可欠であることが示された。

ABSTRACT

The recent years have seen remarkable success in the use of deep neural networks on text summarization. However, there is no clear understanding of extit{why} they perform so well, or extit{how} they might be improved. In this paper, we seek to better understand how neural extractive summarization systems could benefit from different types of model architectures, transferable knowledge and learning schemas. Additionally, we find an effective way to improve current frameworks and achieve the state-of-the-art result on CNN/DailyMail by a large margin based on our observations and analyses. Hopefully, our work could provide more clues for future research on extractive summarization.

研究の動機と目的

• 異なるニューラルアーキテクチャ（CNN、RNN、Transformer）が抽出要約パフォーマンスに与える影響を理解すること。
• 移譲可能な知識（GloVe、BERT、Newsroom）がモデルの汎化性と頑健性を向上させる効果を評価すること。
• 学習スキーム（教師あり対強化学習）がモデルパフォーマンスを向上させ、他のコンponentsと補完的であるかどうかを調査すること。
• 現在のSOTAモデルの成功要因、特にCNN/DailyMailベンチマークにおける要因を特定すること。
• 複数の評価シナリオにおけるモデル行動を実証的に分析することで、今後の研究に役立つインサイトを提供すること。

提案手法

• LSTM、CNN、Transformerを含む多様なエンコーダデコーダアーキテクチャと、自己回帰的・非自己回帰的デコーダーを備えた包括的なテストベッドを構築した。
• 自己教師あり（BERT、GloVe）および教師あり（Newsroom事前学習）の複数の事前学習埋め込みを統合した。
• 報酬形状を用いて要約生成を最適化する教師あり学習と強化学習（RL）を適用した。
• 多ドメインテスト、文のシャッフル、繰り返し、文の長さ、位置バイアスのメトリクスを含む評価プロトコルを設計した。
• BERTを2通りの方法で使用：文単位の符号化と、平均プーリングを用いた文書全体の符号化により、文脈的依存関係の学習を評価した。
• アブレーションスタディを実施し、位置情報と移譲可能な知識のパフォーマンスへの影響を分離して評価した。

実験結果

リサーチクエスチョン

• RQ1 LSTM や Transformer などの異なるニューラルアーキテクチャは、抽出要約パフォーマンスにどのように影響するか？
• RQ2 自己教師あり（BERT）と教師あり（Newsroom）のどちらの事前学習知識が、抽出要約においてより効果的か？
• RQ3 強化学習は、事前学習モデルと強力なアーキテクチャと組み合わせた場合に、追加の利得をもたらすか？
• RQ4 文の位置をモデル化する能力が、CNN/DailyMailでのパフォーマンスにどの程度影響を与えるか？
• RQ5 Transformer などのより頑健なアーキテクチャを用いることで、アーキテクチャの過学習を緩和できるか？

主な発見

• 自己回帰的デコーダーは、抽出要約において非自己回帰的デコーダーを一貫して上回る性能を示した。
• LSTMベースのモデルはアーキテクチャの過学習にかかりやすく、一方でTransformerはより高い頑健性を示した。
• 位置情報は極めて重要である：位置情報を削除するとROUGE-1は40.08から著しく低下し、文の順序依存性が強いことが示された。
• 自己教師あり事前学習（BERT）は、Newsroomからの教師あり事前学習よりも大きなパフォーマンス向上をもたらした。特にドメインシフトの問題が顕著であった。
• 最高性能を示したモデル、LSTM-Pointer + BERT + RL は、42.69 ROUGE-1を達成し、以前のSOTA（41.85 ROUGE-1）を顕著に上回った。
• BERTによる文脈を考慮した表現（文書全体の符号化）は、文単位の埋め込みよりも効果的であり、文間の文脈の重要性が浮き彫りになった。