[論文レビュー] Distraction-Based Neural Networks for Document Summarization

Qian Chen, Xiaodan Zhu+3 more|arXiv (Cornell University)|Oct 26, 2016

Topic Modeling参考文献 31被引用数 61

ひとこと要約

本論文では、要約のための注目メカニズムを改善するために、動的かつ一時的な注目を異なるコンテンツ領域にシフトさせることで、文書全体の意味をよりよく捉えることができる、分散型ニューラルネットワークを提案する。このアプローチにより、特徴工学を用いないまま、長文要約タスクにおいてROUGE-1で最大29%の相対的改善が達成され、特に長文文書において最先端の結果が得られた。

ABSTRACT

Distributed representation learned with neural networks has recently shown to be effective in modeling natural languages at fine granularities such as words, phrases, and even sentences. Whether and how such an approach can be extended to help model larger spans of text, e.g., documents, is intriguing, and further investigation would still be desirable. This paper aims to enhance neural network models for such a purpose. A typical problem of document-level modeling is automatic summarization, which aims to model documents in order to generate summaries. In this paper, we propose neural models to train computers not just to pay attention to specific regions and content of input documents with attention models, but also distract them to traverse between different content of a document so as to better grasp the overall meaning for summarization. Without engineering any features, we train the models on two large datasets. The models achieve the state-of-the-art performance, and they significantly benefit from the distraction modeling, particularly when input documents are long.

研究の動機と目的

• 文書要約の性能を向上させるために、注目だけでなく、文書コンテンツ全体にわたる制御された分散（注目外れ）をモデル化すること。
• 標準的な注目メカニズムが全体の整合性を逃がしがちな長文文書において、文書全体の理解を強化すること。
• 手動で設計された特徴を用いずに、分散モデル化が抽象的要約の性能向上に寄与するかどうかを検証すること。
• 双方向RNNや多段階注目といった最先端技術と組み合わせた場合に、分散モデル化の有効性を評価すること。
• 分散メカニズムが、要約が最も必要とされる長文文書において、より顕著な向上をもたらすかどうかを示すこと。

提案手法

• エンコーダーが入力文書の異なる部分に注目できるように、デコーダーが焦点を変えることを可能にする分散メカニズムを提案する。
• ゲート付き再帰ユニット（GRUs）を用いたエンコーダ-デコーダー枠組みに分散モデル化を統合し、文書コンテンツを動的に走査可能にする。
• 関連するコンテンツに注目する一方で、遠く離れた領域や関連性の低い領域への制御された遷移を許容するソフト注目メカニズムを採用する。
• 二段階注目やUNKトークンの置換といった高度な技術を、分散強化モデルに拡張して性能向上を図る。
• 特徴工学を一切行わず、大規模データセット（CNN/DailyMailおよびLCSTS）上でエンドツーエンドでモデルを学習する。
• ROUGEスコアを用いて、分散あり・なしのモデルを比較し、抽象的要約の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 分散モデル化は、長文文書におけるニューラル抽象的要約モデルの性能向上に寄与するか？
• RQ2 分散メカニズムは、局所的注目にとどまらず、文書全体の理解を向上させるか？
• RQ3 分散の有効性は、文書長に応じてどのように変化するか？
• RQ4 分散モデル化は、双方向RNN や多段階注目といった既存の最先端技術と効果的に組み合わせられるか？
• RQ5 分散モデル化による性能向上は、異なるデータセットや文書長にわたり一貫しているか？

主な発見

• CNNデータセットでは、長文（平均680トークン）においてROUGE-1が29.0%の相対的改善を示したのに対し、短文（335トークン）では25.9%にとどまった。
• 長文サブセットにおいて、分散モデルはROUGE-1で24.0%、ROUGE-Lで15.3%の向上を達成し、ベースラインを顕著に上回った。
• LCSTSデータセット（平均約100トークン）では、分散による性能向上が認められず、分散の利点が特に長文において顕著であることが示された。
• 双方向GRU や二段階注目といった強力なベースラインと組み合わせても、分散モデルは追加の顕著な向上をもたらし、その補完的価値を確認した。
• 本モデルは、CNNおよびLCSTSデータセットの両方で最先端の性能を達成し、LCSTSでは報告済み最高スコア（ROUGE-1: 35.2、ROUGE-2: 22.6、ROUGE-L: 32.5）を記録した。
• 結果から、分散モデル化がエンコーディングとデコーディングの間の制御機構を強化し、文書全体の意味を捉える能力を向上させることを確認した。