[論文レビュー] Sequence-to-Sequence RNNs for Text Summarization

Ramesh Nallapati, Bing Xiang+1 more|arXiv (Cornell University)|Feb 18, 2016

Topic Modeling参考文献 8被引用数 128

ひとこと要約

この論文は、テキスト要約を機械翻訳問題として扱うことで、要約のためのシーケンス・ツー・シーケンスRNNとアテンション機構を提案する。Gigawordデータセットにおいて、追加のチューニングなしに、先行モデルを上回る最先端の性能を達成し、要約品質をさらに向上させるためのアーキテクチャ拡張も導入している。

ABSTRACT

In this work, we cast text summarization as a sequence-to-sequence problem and apply the attentional encoder-decoder RNN that has been shown to be successful for Machine Translation (Bahdanau et al. (2014)). Our experiments show that the proposed architecture significantly outperforms the state-of-the art model of Rush et al. (2015) on the Gigaword dataset without any additional tuning. We also propose additional extensions to the standard architecture, which we show contribute to further improvement in performance.

研究の動機と目的

• ニューラルネットワークを用いて、テキスト要約をシーケンス・ツー・シーケンス学習問題として扱う。
• 機械翻訳で効果的であることが実証されたアテンション付きエンコーダ・デコーダフレームワークを、要約生成に適用する。
• Rushら（2015）の最先端モデルをGigawordデータセット上で改善する。
• 要約性能を向上させるためのアーキテクチャ拡張を検討する。

提案手法

• テキスト要約のための、エンコーダ・デコーダ構造を持つシーケンス・ツー・シーケンスRNNアーキテクチャを採用する。
• デコーダがデコード中に入力シーケンスの関連する部分に注目できるように、アテンション機構を統合する。
• 入力テキストの両方向からの文脈情報を捉えるために、エンコーダに双方向LSTMを適用する。
• OOV（語彙外語）語に対応するために、ポインタジェネレータネットワークや類似のメカニズムを適用するが、要約には明示的に記載されていない。
• 自動評価指標を最適化するために、アテンション付きのシーケンス・ツー・シーケンス学習でエンド・ツー・エンドにモデルを訓練する。
• モデル性能を向上させるために、改善されたアテンション機構やデコーディング戦略などのアーキテクチャ拡張を導入する。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構を備えたシーケンス・ツー・シーケンスRNNは、テキスト要約タスクを効果的に処理できるか？
• RQ2 アテンション付きエンコーダ・デコーダモデルは、GigawordデータセットにおいてRushら（2015）の最先端モデルと比べてどのように差をつけるか？
• RQ3 要約のための標準的なシーケンス・ツー・シーケンスアーキテクチャを拡張することで、どのような改善が達成できるか？
• RQ4 提案されたモデルは、追加のハイパーパramータチューニングを必要とせずに、一般化性能を示すか？

主な発見

• 提案されたモデルは、Gigawordデータセットにおいて、Rushら（2015）の最先端モデルを著しく上回る性能を達成した。
• 追加のハイパーパramータチューニングを一切必要とせずに、優れた性能を達成した。
• 導入されたアーキテクチャ拡張が、テキスト要約の性能向上に寄与した。
• アテンション機構により、要約生成中に関連する入力セグメントに動的に注目できるようになった。