[論文レビュー] A Survey on Neural Network-Based Summarization Methods

Yue Dong|arXiv (Cornell University)|Mar 19, 2018

Topic Modeling参考文献 23被引用数 22

ひとこと要約

本調査は、抽出的および抽象的モデル、強化学習の統合、テキスト簡略化技術に焦点を当てたニューラルネットワークベースの要約手法をレビューする。従来の手法に比べてニューラルモデルの優位性を強調し、エージェント・クリティック学習やテキスト簡略化による前処理といった、スケーラビリティや今後の研究方向性に関する主要な課題を特定する。

ABSTRACT

Automatic text summarization, the automated process of shortening a text while reserving the main ideas of the document(s), is a critical research area in natural language processing. The aim of this literature review is to survey the recent work on neural-based models in automatic text summarization. We examine in detail ten state-of-the-art neural-based summarizers: five abstractive models and five extractive models. In addition, we discuss the related techniques that can be applied to the summarization tasks and present promising paths for future research in neural-based summarization.

研究の動機と目的

• 最近のニューラルネットワークベースの要約手法における進展を体系的にレビューすること。
• 従来の手法と比較して、抽出的および抽象的ニューラル要約モデルの長所と短所を分析すること。
• ニューラル要約におけるスケーラビリティ、データ効率、解釈可能性に関する主な課題を特定すること。
• 強化学習やテキスト簡略化を含む、有望な今後の研究方向性を検討すること。
• ROUGEなどの自動評価指標と、ピラミッド法のような人間中心の評価手法が要約評価において果たす役割を評価すること。

提案手法

• 入力（単一/複数ドキュメント、単語彙/多言語/クロスリンガル）、目的（情報提供型/指示型、汎用/ユーザー指向型、一般/ドメイン特化型）、出力形式（抽出的/抽象的）を用いて要約タスクを分類する。
• エンコーダ・デコーダアーキテクチャに注目し、アテンション機構を備えたシーケンス・ツー・シーケンス学習を用いた、10のニューラルベース要約モデルをレビューする。
• シーケンス生成の最適化を目的とした、REINFORCEやエージェント・クリティックアルゴリズムを含む強化学習アプローチを検討する。
• LSTMと強化学習を用いたシーケンス・ツー・シーケンスモデルを用いて、より簡潔で文法的に正しく、意味的に忠実な言い換えを生成するテキスト簡略化技術を分析する。
• ROUGE指標（ROUGE-N、ROUGE-L、ROUGE-SU）とコンテンツユニットベースの評価に適したピラミッド法を用いて、要約の性能を評価する。
• テキスト簡略化を前処理ステップとして統合することで、複雑な入力テキストに対する要約モデルの性能向上を提案する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースの要約モデルは、大規模な学習データを用いる場合、従来の非教師あり情報抽出手法に比べて性能と一般化能力で優れているか？
• RQ2 抽出的および抽象的要約における最先端性能を実現するための、主なアーキテクチャ的要素と学習戦略は何か？
• RQ3 強化学習は、特に分散の低減と学習効率の向上を図ることで、抽象的要約の生成品質をどのように向上させ得るか？
• RQ4 テキスト簡略化技術は、要約モデルの入力品質をどの程度向上させ得るか？
• RQ5 メモリ要件、データ効率、推論速度の観点から、現在のニューラル要約モデルの主な制限は何か？

主な発見

• 大規模な学習データを用いる場合、ニューラルネットワークベースのモデルは、従来の非教師あり情報検索モデルに比べて顕著に優れた性能を示す。
• REINFORCEに比べ、エージェント・クリティックアルゴリズムは学習の分散を低減し収束を加速させるため、抽象的要約におけるシーケンス生成により効果的である。
• ROUGE-Lは、固定されたn-gramサイズを必要としないため、変動する長さの語列に対応できる点で、ROUGE-Nよりも好まれる。
• DRESSのようなテキスト簡略化モデルは、強化学習による離散報酬関数の最適化により、文法的正しさと意味的忠実性の両方を向上させる。
• 現在のニューラルモデルは、高額なメモリ要件のため、長大なシーケンスを処理する際に問題を抱え、パラメータ数の多さのため小規模データセットでは非効率である。
• ピラミッド評価法は、正確なフレーズマッチングではなく意味的コンテンツユニットを考慮するため、ROUGEに比べより堅牢な代替手段を提供するが、人的アノテーションが多用される。