[論文レビュー] AttSum: Joint Learning of Focusing and Summarization with Neural Attention

Ziqiang Cao, Wenjie Li+3 more|arXiv (Cornell University)|Apr 1, 2016

Topic Modeling参考文献 27被引用数 58

ひとこと要約

AttSumは、文のクエリ関連性と文の顕著性を同時に学習するための共同ニューラルネットワークモデルを提案する。文とドキュメントの分散表現を手作業の特徴量を用いずに生成する。DUC 2005–2007ベンチマークで評価された結果、優れた性能を発揮し、クエリのニーズを満たすコンテンツを効果的に特定しており、特徴量を設計する必要がある他のシステムを上回っている。

ABSTRACT

Query relevance ranking and sentence saliency ranking are the two main tasks in extractive query-focused summarization. Previous supervised summarization systems often perform the two tasks in isolation. However, since reference summaries are the trade-off between relevance and saliency, using them as supervision, neither of the two rankers could be trained well. This paper proposes a novel summarization system called AttSum, which tackles the two tasks jointly. It automatically learns distributed representations for sentences as well as the document cluster. Meanwhile, it applies the attention mechanism to simulate the attentive reading of human behavior when a query is given. Extensive experiments are conducted on DUC query-focused summarization benchmark datasets. Without using any hand-crafted features, AttSum achieves competitive performance. It is also observed that the sentences recognized to focus on the query indeed meet the query need.

研究の動機と目的

• 抽出的要約システムにおけるクエリ関連性と顕著性ランク付けの分離学習の限界を解消すること。
• 参照要約が関連性と顕著性のトレードオフを反映するため、劣悪な監視信号を克服すること。
• TF-IDFのような表面的特徴量に依存する測定法では意味的意図を捉えられないことの改善。
• 手作業の特徴量を一切不要としないデータ駆動型のエンドツーエンドモデルを構築し、意味的で意味のある文とドキュメント表現を自動的に学習すること。
• クエリに焦点を当てた人間の注意的読解を模倣すること。

提案手法

• モデルはニューラルネットワークを用いて、重み付き和プーリングにより分散文表現とドキュメントクラスタ表現を学習する。
• 各文に対してクエリ依存の重みを計算するアテンション機構を適用し、クエリに関連性の高い文を強調する。
• ドキュメント表現は、アテンション機構の関連性スコアから導かれる重みを用いた文表現の重み付き和によって構成される。
• アテンション機構は、クエリとドキュメントコンテンツの両方に意味的に整合する文に動的に注目する。
• 参照要約を監視信号として用い、エンドツーエンドで学習する。手作業の特徴量は一切不要である。
• 文の顕著性は、関連性の高い文がドキュメント表現に大きく寄与するため、アテンション機構によって暗黙的に捉えられる。

実験結果

リサーチクエスチョン

• RQ1 分離学習と比較して、共同モデルはクエリ関連性と文の顕著性ランク付けの両方を改善できるか？
• RQ2 ニューラルアテンション機構は、クエリ焦点型要約において人間の注意的読解を効果的に模倣できるか？
• RQ3 手作業の特徴量を一切使用しないデータ駆動型エンドツーエンドモデルは、特徴量を設計する必要があるシステムを上回る性能を発揮できるか？
• RQ4 高スコアのアテンションを持つ文は、キーワードが欠落している場合でも、クエリの意図と意味的に整合しているか？
• RQ5 学習されたドキュメント表現は、将来的に抽象的要約への拡張を可能にするか？

主な発見

• AttSumは、DUC 2005–2007のクエリ焦点型要約ベンチマークで、手作業の特徴量を一切使用せずに競争力のある性能を達成した。
• キーワードがコンテンツに存在しない場合でも、クエリのニーズを満たす文を効果的に特定しており、表面的マッチングを越えた意味的理解を示している。
• 高スコアのアテンションを持つ文は、定性的分析でも一貫してクエリの意図に関連しており、たとえばTF-IDFの重複が低くても、ドラッグ合法化の利点を正しく特定している。
• アテンション機構は、クエリに関連性があり、かつドキュメントクラスタを代表する文にドキュメント表現を効果的にバイアスする。
• アテンションを介した関連性と顕著性の共同学習により、参照要約からのより効果的な監視信号を得られ、分離モデルよりも優れた性能を発揮した。
• システムが意味的で意味のある表現を生成できることから、ニューラル言語モデルを用いた抽象的要約への拡張の可能性が示唆された。