[論文レビュー] Neural Latent Extractive Document Summarization

Xingxing Zhang, Mirella Lapata+2 more|arXiv (Cornell University)|Aug 22, 2018

Topic Modeling参考文献 21被引用数 8

ひとこと要約

この論文では、文の選択を潜在変数問題として扱い、ヒューリスティックな文ラベルに依存せず、ゴールドのヒューマン要約を直接最適化するニューラル潜在変数抽出要約モデルを提案する。文の含む・含まないを二値の潜在変数としてモデル化し、ゴールド要約の尤度を直接最尤推定することで、CNN/Dailymailで最先端の性能を達成し、強力な抽出的ベースラインや競争力のある抽象的モデルを上回る。

ABSTRACT

Extractive summarization models require sentence-level labels, which are usually created heuristically (e.g., with rule-based methods) given that most summarization datasets only have document-summary pairs. Since these labels might be suboptimal, we propose a latent variable extractive model where sentences are viewed as latent variables and sentences with activated variables are used to infer gold summaries. During training the loss comes \emph{directly} from gold summaries. Experiments on the CNN/Dailymail dataset show that our model improves over a strong extractive baseline trained on heuristically approximated labels and also performs competitively to several recent models.

研究の動機と目的

• ゴールド要約から導出される不適切なヒューリスティック文ラベルに依存する抽出的要約モデルの限界を解消すること。
• 潜在文変数を用いてゴールド要約の尤度を直接モデル化することで、抽出的要約を改善すること。
• ヒューリスティックラベルの近似を避けるために、ヒューマンライティングの要約に直接学習させることで、ラベル近似の必要性を排除すること。
• ゴールド要約を直接最適化するエンドツーエンドの最適化が、ラベルベースの学習に比べて優れた要約性能をもたらすことを示すこと。

提案手法

• 各文の要約への含む・含まないを二値の潜在変数として扱う潜在変数問題として文選択をモデル化する。
• Bi-LSTM文エンコーダーを用いて文表現を生成し、その後文書レベルのBi-LSTMで文脈を捉える。
• 文圧縮モデルを適用し、元の文から要約に似た文表現を生成する。
• 選択された文を前提としてゴールド要約の尤度を最大化するように学習し、潜在変数の目的関数を微分可能近似を用いて最適化する。
• 勾配クリッピングとドロップアウト正則化を用いて学習を安定化させる確率的勾配降下法を採用する。
• 推論時、各文が選択される事後確率に基づいて順位付けを行い、上位3文を選んで最終的な要約とする。

実験結果

リサーチクエスチョン

• RQ1 ゴールド要約を直接最適化する潜在変数モデルは、ヒューリスティック文ラベルで学習された抽出的モデルを上回ることができるか？
• RQ2 ゴールド要約に基づく損失関数で学習することで、標準的な抽出的ベースラインに比べて要約性能が向上するか？
• RQ3 潜在変数フレームワーク内で、元の文とゴールド要約表現の間のギャップを埋めるために文圧縮モデルを効果的に使用できるか？
• RQ4 ゴールド要約の直接最適化による性能向上は、複数のROUGE指標にわたって一貫しているか？
• RQ5 潜在モデルの出力に別個の文圧縮モデルを適用すると、要約品質が低下するか？

主な発見

• 提案された潜在モデルは、CNN/DailymailのテストセットでROUGE-Lスコア37.54を達成し、強力な抽出的ベースライン（37.14）を0.40ポイント上回った。
• ルールベースのラベルで学習された抽出的ベースラインに比べ、ROUGE-Lで0.40ポイント、ROUGE-2で0.32ポイントの向上を達成した。
• 最近の抽象的モデルと比較しても競争力があり、ROUGE-Lでは唯一abstract-RLを除くすべての抽象的モデルを上回った。
• 潜在モデルの出力に文圧縮モデルを適用した（潜在＋圧縮）場合、性能が著しく低下し、ROUGE-Lは34.33に低下した。これは、圧縮が要約に重要なフレーズを除去している可能性を示唆している。
• 潜在モデルによる改善は統計的に有意であり、すべてのROUGE指標についてp < 0.05であった。