[論文レビュー] Neural Document Summarization by Jointly Learning to Score and Select Sentences

Qingyu Zhou, Nan Yang+4 more|arXiv (Cornell University)|Jul 6, 2018

Topic Modeling参考文献 27被引用数 14

ひとこと要約

本稿では、階層的エンコーダーと再帰的文抽出器を用いて文のスコア付けと選択を統合的に学習する、エキスクライティブドキュメント要約のための新しいエンドツーエンドニューラルフレームワークNeuSumを提案する。以前に選択された文に基づく相対的重要性をモデル化することで、CNN/Daily Mailデータセットにおいて最先端のROUGEスコアを達成し、従来の分離型スコア付けと選択手法を上回った。

ABSTRACT

Sentence scoring and sentence selection are two main steps in extractive document summarization systems. However, previous works treat them as two separated subtasks. In this paper, we present a novel end-to-end neural network framework for extractive document summarization by jointly learning to score and select sentences. It first reads the document sentences with a hierarchical encoder to obtain the representation of sentences. Then it builds the output summary by extracting sentences one by one. Different from previous methods, our approach integrates the selection strategy into the scoring model, which directly predicts the relative importance given previously selected sentences. Experiments on the CNN/Daily Mail dataset show that the proposed framework significantly outperforms the state-of-the-art extractive summarization models.

研究の動機と目的

• 従来のエキスクライティブ要約システムが文のスコア付けと選択を独立した非相互作用的タスクとして扱うという制限を解決すること。
• 手動特徴量を用いずに、文のスコア付けと選択を同時に最適化できるエンドツーエンド学習可能なニューラルモデルを開発すること。
• 以前の選択の影響を考慮する動的で履歴に依存する選択を可能にすることで、要約性能を向上させること。
• 最大マージン差分（Maximal Marginal Relevance）や整数線形プログラミングなどのヒューリスティック選択戦略に依存することを減らし、統一された最適化プロセスを学習すること。
• スコア付けと選択の共同学習が、特に先頭に来ないが影響力の高い文を適切に選択する点で、人間がアノテートした要約とより整合性が取れることを示すこと。

提案手法

• 階層的エンコーダーが文を処理し、スタックされた双方向LSTM層を通じて局所的およびグローバルな文脈を捉える。
• 再帰的文抽出器が部分要約を表す隠れ状態を維持し、各ステップでの文スコア付けに条件づける。
• 各ステップで、残りの文の表現と現在の抽出状態に基づき、相対的重要性スコアを計算することで、文脈に依存した選択が可能になる。
• 微分可能スコアリング機構を用い、選択済みの文との類似性と冗長性を統合することで、エンドツーエンドの誤差逆伝播が可能になる。
• フレームワークはシーケンス生成損失を用いて学習され、強化学習または教師ありデコードを通じて最終要約を最適化する。
• 手動特徴量を回避し、代わりに生テキストから直接表現を学習することで、汎化性と適応性が向上する。

実験結果

リサーチクエスチョン

• RQ1 スコア付けと選択を別々に最適化するのではなく、共同で学習させることで、エキスクライティブ要約の性能が向上するか？
• RQ2 現在の要約状態に基づいて文の相対的重要性をモデル化することで、非先行的で高価値な文の選択にどのような影響を与えるか？
• RQ3 選択履歴を保持できる能力が、誤差伝搬を軽減し、後続の選択を改善する程度はどの程度か？
• RQ4 NN-SE やオラクルといった強力なベースラインと比較して、共同フレームワークの文の位置分布と各ステップでの精度はどのように異なるか？
• RQ5 手動特徴量を一切用いずにエンドツーエンド学習することで、標準ベンチマークでより良い汎化性能と高いROUGEスコアが得られるか？

主な発見

• NeuSumは、CNN/Daily MailテストセットでROUGE-1が42.12、ROUGE-2が19.87、ROUGE-Lが39.05を達成し、NN-SEベースラインおよび最先端手法を顕著に上回った。
• 最初の文選択ステップで、NeuSumは40.38%の精度を達成し、NN-SEベースラインの40.38%よりも1.2ポイント高い。
• 2番目のステップで、NeuSumは31.52%の精度に達し、NN-SEベースラインの28.28%を3.24ポイント上回った。
• 最初の5つの位置からの文の選択割合が58.64%であったが、これはオラクルの10%に近づいたことを示しており、文の選択バランスが良好である。
• NeuSumは位置4〜6からの文の30%を抽出したが、NN-SEはほぼ抽出していないため、非先行的で影響力の高いコンテンツの選択能力が向上していることが示された。
• モデルの性能はステップにわたり安定しており、共同学習メカニズムにより、特に末尾の文が重要となる曖昧なケースで先行文への過剰依存が軽減された。