[論文レビュー] Classify or Select: Neural Architectures for Extractive Document Summarization

Ramesh Nallapati, Bowen Zhou+1 more|arXiv (Cornell University)|Nov 14, 2016

Topic Modeling参考文献 17被引用数 82

ひとこと要約

本稿では、抽出的文書要約のための2つの新しいRNNベースのニューラルアーキテクチャ—ClassifierとSelector—を提案する。Classifierは元の順序で文を逐次評価して要約に含めるかどうかを判断するが、Selectorは任意の順序で顕著な文を動的に選択し、顕著性、重複性、コンテンツの豊かさを同時にモデル化する。両モデルともDUC 2002およびDaily Mailデータセットで最先端の性能を達成しており、特に文書構造が破壊された状況ではSelectorがClassifierを上回る性能を示す。

ABSTRACT

We present two novel and contrasting Recurrent Neural Network (RNN) based architectures for extractive summarization of documents. The Classifier based architecture sequentially accepts or rejects each sentence in the original document order for its membership in the final summary. The Selector architecture, on the other hand, is free to pick one sentence at a time in any arbitrary order to piece together the summary. Our models under both architectures jointly capture the notions of salience and redundancy of sentences. In addition, these models have the advantage of being very interpretable, since they allow visualization of their predictions broken up by abstract features such as information content, salience and redundancy. We show that our models reach or outperform state-of-the-art supervised models on two different corpora. We also recommend the conditions under which one architecture is superior to the other based on experimental evidence.

研究の動機と目的

• 顕著性、重複性、コンテンツの豊かさを明示的にモデル化する解釈可能なニューラルアーキテクチャを、抽出的文書要約のために開発すること。
• 文選択における2つの異なるニューラル戦略—逐次分類対比・動的選択—を比較すること。
• 文書構造の影響がモデル性能に与える影響を評価し、各アーキテクチャがそれぞれどのような条件下で優れるかを特定すること。
• 顕著性や重複性といった抽象的特徴に基づいたモデル意思決定の可視化フレームワークを提供すること。
• 明示的な特徴モデリングを通じて解釈性を維持しつつ、抽出的要約の性能を向上させること。

提案手法

• 各文を双方向GRUでエンコードし、密な表現に変換した後、文のインデックス上で2番目の双方向GRUを用いて文書レベルの文脈を捉える。
• 顕著性（文書表現とのコサイン類似度）、重複性（要約表現とのコサイン類似度）、コンテンツの豊かさ、位置的重要性の重み付き組み合わせにより、各文の合成スコアを計算する。
• Classifierアーキテクチャでは、元の文書順序で要約に含めるかどうかを予測するための二値分類ヘッドを採用する。
• Selectorアーキテクチャでは、文のインデックスを1つずつ逐次的に予測する生成的・自己回帰的デコーダーを実装し、非逐次的選択を可能にする。
• 推論中に進化する動的要約表現を統合し、現在の要約状態を反映させるとともに、重複選択をペナルティ化する。
• 学習可能な重み付きスコア関数を採用：score = w_c·σ(W_c^T·h_j) + w_s·cos(h_j,d) + w_p·σ(W_p^T·p_j) - w_r·σ(cos(h_j,s_j)) + b、ここでh_jは文表現、dは文書表現、s_jは要約表現、p_jは位置埋め込みである。

実験結果

リサーチクエスチョン

• RQ1 構造的でない文書において、ClassifierとSelectorアーキテクチャの性能はどのように比較されるか？
• RQ2 話法的構造が欠落している状況では、任意の順序で文を選択できる能力（Selector）が、逐次的選択（Classifier）に比べて性能優位性を示すか？
• RQ3 顕著性、重複性、コンテンツの豊かさを明示的にモデル化・可視化することで、要約意思決定の解釈性はどの程度向上するか？
• RQ4 ニューラルモデルが顕著性と重複性を同時に最適化しつつ、標準ベンチマークで高いROUGEスコアを達成できるか？
• RQ5 特にDaily Mailで訓練した後、DUC 2002のようなドメイン外データで微調整した場合、これらのモデルはドメインシフトに対してどの程度頑健か？

主な発見

• Deep-ClassifierモデルはDaily MailデータセットでROUGE-Lスコア43.1 ± 0.9を達成し、95%信頼区間でCheng & Lapata (2016)と差がない。
• DUC 2002データセットでは、Deep-ClassifierがLead-3（40.2）やLReg（40.3）といったベースラインモデルを上回り、ROUGE-Lスコア42.3を達成した。
• 文の順序をランダムにシャッフルした場合、SelectorアーキテクチャがClassifierアーキテクチャを上回り、ROUGE-Lが32.5対32.9を記録し、構造的破壊に対する優れた頑健性を示した。
• シャッフルされたデータでは、SelectorモデルがROUGE-L 33.5を達成した一方、Classifierモデルは32.9に低下した。これは、構造に依存しない選択が話法的順序が失われた状況でより効果的であることを確認している。
• 定性的な分析から、特徴別アテンションを用いることでモデルの意思決定が解釈可能であることが示され、学習された重みが顕著性、重複性、位置の相対的重要性を明らかにした。
• モデルは構造的（例：ニュース記事）および非構造的（例：ツイートクラスタ）なデータの両方で優れた性能を示し、特に低構造的環境ではSelectorアーキテクチャが顕著に効果的であった。