[論文レビュー] DeepChannel: Salience Estimation by Contrastive Learning for Extractive Document Summarization

Jiaxin Shi, Liang Chen+4 more|arXiv (Cornell University)|Nov 6, 2018

Topic Modeling参考文献 26被引用数 6

ひとこと要約

DeepChannelは、抽出的ドキュメント要約のためのコントラスト学習ベースの局所性推定モデルを提案する。ニューラルチャネルモデルを用いて、要約が元のドキュメントをどれだけよく再構成できるかをスコア化する。CNN/Daily Mailで最先端のROUGEスコアを達成し、学習データの1%のみで強力な性能を維持する。これは、高いデータ効率性とドメインシフトに対するロバスト性を示している。

ABSTRACT

We propose DeepChannel, a robust, data-efficient, and interpretable neural model for extractive document summarization. Given any document-summary pair, we estimate a salience score, which is modeled using an attention-based deep neural network, to represent the salience degree of the summary for yielding the document. We devise a contrastive training strategy to learn the salience estimation network, and then use the learned salience score as a guide and iteratively extract the most salient sentences from the document as our generated summary. In experiments, our model not only achieves state-of-the-art ROUGE scores on CNN/Daily Mail dataset, but also shows strong robustness in the out-of-domain test on DUC2007 test set. Moreover, our model reaches a ROUGE-1 F-1 score of 39.41 on CNN/Daily Mail test set with merely $1 / 100$ training set, demonstrating a tremendous data efficiency.

研究の動機と目的

• エンドツーエンドのニューラル要約モデルの限界、すなわちデータ非効率性、過学習、解釈不能性を是正すること。
• 特にDUC2007ベンチマークにおいて、ドメイン外設定でのロバスト性を向上させること。
• 最小限の学習データで高い性能を達成できるように、データ効率性を向上させること。
• 局所性をチャネル確率としてモデル化することで、より解釈可能な要約フレームワークを導入すること。
• ヒューリスティックまたはルールベースのノイズチャネルモデルを、学習可能なディープニューラルチャネルモデルに置き換えること。

提案手法

• 各ドキュメントに対して、より局所的で、それより局所性が低い2つの候補要約を生成し、コントラスト学習を用いて局所性推定ネットワークを訓練する。
• モデルは、チャネル確率P(D|S₁)とP(D|S₂)のマージンを最大化するように学習する。ここでS₁はより局所的な要約である。
• アテンションベースのディープニューラルネットワークが、チャネル確率P(D|S)をモデル化し、ドキュメントDが要約Sからどれだけ生成されやすいかを表す。
• 局所性スコアを用いて、グリーディで反復的な抽出プロセスを実行し、最終的な要約を構築する。
• アテンションの正則化を図るためのペナルティ項を導入し、すべての要約文にアテンションが行き渡り、1文に集中するのを防ぐ。
• 現在のバージョンでは、言語モデルP(S)を用いておらず、チャネルモデルP(D|S)にのみ焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 限られたラベル付きデータで、コントラスト学習戦略が抽出要約における局所性推定を改善できるか？
• RQ2 提案された局所性推定モデルは、エンドツーエンドモデルと比較して、ドメイン外のテストセットでどの程度の性能を示すか？
• RQ3 学習データが著しく削減された場合、モデルの性能がどの程度維持されるか？
• RQ4 ペナルティ項がアテンション分布の改善とアテンションの崩壊防止に寄与するか？
• RQ5 高い解釈可能性を維持しながら、競争力のある要約性能を達成できるか？

主な発見

• DeepChannelは、学習データの1/100のみを用いて、CNN/Daily MailのテストセットでROUGE-1 F1スコア39.41を達成し、極めて高いデータ効率性を示している。
• DUC2007のテストセットではエンドツーエンドベースラインを上回り、ドメインシフトに対する強いロバスト性を示している。
• ペナルティ項の重みα = 0.001で最高のROUGEスコアを達成したが、項を削除した場合（α = 0）は性能が著しく低下した。
• アテンションヒートマップの可視化により、モデルが意味的に関連する文のペアに適切にアテンションを向けることを学習していることが確認され、ペナルティ項が1文への集中を防いでいることが裏付けられた。
• 定性的な分析では、DeepChannelが局所的な文を適切に抽出し、重複した内容を避けることができ、抽出された文がゴール要約の意味を的確に反映していることが示された。
• ペナルティ重みをα = 0.1に引き上げても高い性能を維持するが、安定性の欠如によりトレーニングが不安定化し、性能が低下する傾向がある。