[論文レビュー] SummaRuNNer: A Recurrent Neural Network based Sequence Model for Extractive Summarization of Documents

Ramesh Nallapati, Feifei Zhai+1 more|arXiv (Cornell University)|Nov 14, 2016

Topic Modeling被引用数 749

ひとこと要約

SummaRuNNerは、抽出型文書要約のための二層の双方向GRUベースのシーケンス分類器で、最先端または競合的な結果を出し、意思決定の解釈可能な分析を提供します。 さらに、文レベルのラベルなしで抽象的な要約から学習するための抽象訓練を導入します。

ABSTRACT

We present SummaRuNNer, a Recurrent Neural Network (RNN) based sequence model for extractive summarization of documents and show that it achieves performance better than or comparable to state-of-the-art. Our model has the additional advantage of being very interpretable, since it allows visualization of its predictions broken up by abstract features such as information content, salience and novelty. Another novel contribution of our work is abstractive training of our extractive model that can train on human generated reference summaries alone, eliminating the need for sentence-level extractive labels.

研究の動機と目的

• 単一文書の文レベル抽出型要約のためのニューラルでエンドツーエンドのモデルを開発する。
• 大規模データセットで、最先端の抽出法よりも優れるか、同等の性能になるように向上させる。
• 内容、顕在性、斬新さなどの明示的な抽象特徴に意思決定を割り当てることで、解釈性を提供する。
• 文レベルの抽出ラベルなしで抽象的な要約から学習できるように、抽象訓練を提案する。

提案手法

• タスクを、二層の双方向GRU RNNを用いたシーケンシャルな文レベルの二値分類としてモデル化する。
• 下位の語レベルGRUが文内表現を捉え、上位の文レベルBi-GRUが文の表現を文書レベルの文脈のために符号化する。
• 文分類は情報量、顕在性、斬新さ、絶対位と相対位の特徴を用いたロジスティック層を用いる。
• サマリ状態 s_j は過去の文表現の逐次加重和であり、予測時の冗長性と関連性を導く。
• 抽出ラベルに対する負の対数尤度で訓練する。抽象的な要約からグリーディ Rouge ベースの最適化で抽出ラベルを導出する（抽象訓練）か、実データの抽出ラベルを使用する（抽出訓練）。
• 抽象的訓練の場合、参照要約語をモデル化するデコーダを組み合わせ、要約表現を介して誤差伝搬を行い抽出確率に影響を与える。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークベースのシーケンス分類子は、エンドツーエンドで単一文書の抽出型要約を効果的に実行できるか？
• RQ2 内容、顕在性、斬新さ、位置情報を含む特徴を組み込むことで、基準と比較して抽出要約の品質は向上するか？
• RQ3 抽象訓練信号を使用して、文レベルの抽出ラベルなしで抽出モデルを訓練しつつ性能を維持できるか？
• RQ4 SummaRuNNerは大規模CNN/Daily MailおよびDUC 2002データセットで最先端モデルと比較してどのように性能を発揮するか？
• RQ5 明示的な特徴駆動の意思決定プロセスからどのような解釈可能性の洞察が得られるか？

主な発見

• SummaRuNNerは、ベンチマークで最先端の抽出モデルと比べて、またはそれらと同等の性能を達成している。
• 抽出訓練は、Daily Mailデータセットにおいて、限られた長さのRouge指標で競合的な抽象的設定より統計的に有意な改善をもたらす。
• CNN/Daily Mailコーパスでは、SummaRuNNerは全長Rouge指標で抽象的エンコーダ-デコーダモデルを大幅に上回る。
• モデルは、分類スコアの内容、顕在性、斬新さ、位置情報の別々の成分を介して意思決定を解釈可能な視覚化として提供する。
• 抽象訓練は文レベルの抽出ラベルの必要性を減らすが、調査されたほとんどのデータセットで抽出訓練済みモデルに遅れをとる傾向がある。
• 外部ドメインのDUC 2002データでは、SummaRuNNerは同等のモデルと同程度だが、一般にグラフベースの手法（TGRAPHやURANK）には及ばず、深層学習の抽出法のドメインロバスト性に懸念を示す。