[論文レビュー] Improving the Similarity Measure of Determinantal Point Processes for Extractive Multi-Document Summarization

Sangwoo Cho, Logan Lebanoff+2 more|arXiv (Cornell University)|May 31, 2019

Topic Modeling参考文献 66被引用数 4

ひとこと要約

本稿は、抽出的複数文書要約における確定的ポイントプロセス（DPP）のための新しい類似度測定法を提案する。この手法は、キャプセルネットワークを用いて表層的類似度と意味的類似度を同時にモデル化する。TF-IDFコサイン類似度と、新規の要約特化型文対データセットで訓練されたキャプセルネットワーク（CapsNet）埋め込みを組み合わせることで、冗長性検出を向上させ、DUC-04およびTAC-11ベンチマークで最先端の性能を達成する。

ABSTRACT

The most important obstacles facing multi-document summarization include excessive redundancy in source descriptions and the looming shortage of training data. These obstacles prevent encoder-decoder models from being used directly, but optimization-based methods such as determinantal point processes (DPPs) are known to handle them well. In this paper we seek to strengthen a DPP-based method for extractive multi-document summarization by presenting a novel similarity measure inspired by capsule networks. The approach measures redundancy between a pair of sentences based on surface form and semantic information. We show that our DPP system with improved similarity measure performs competitively, outperforming strong summarization baselines on benchmark datasets. Our findings are particularly meaningful for summarizing documents created by multiple authors containing redundant yet lexically diverse expressions.

研究の動機と目的

• 複数文書要約における冗長性の課題に取り組むこと、特に共通のトピックがあるにもかかわらず語彙的多様性を示す文書に対して有効であることを目的とする。
• 従来の類似度測定法（例：TF-IDF やカーネル法）の限界を克服すること、これらはパラフレーズ的・構文的変化を捉えられないこと。
• 要約における文対について、表層的類似度と意味的類似度の両方を捉えるより効果的な類似度測定法を開発すること。
• キャプセルネットワークが、テキスト entailment や意味的テキスト類似度とは異なる、要約における冗長性を効果的にモデル化できるかを示すこと。
• より洗練された類似度測定法を統合することで、DPPベースの抽出的要約の性能を向上させること、特に小規模で現実世界のデータセットにおいて有効であることを目的とする。

提案手法

• 本手法は、既存のNLP類似度データセットとは異なる、要約文脈における冗長性をラベル付けした新しい文対データセットを導入する。
• トピック語の重複を捉えるためのTF-IDFコサイン類似度と、文間の意味的・構造的関係をモデル化するキャプセルネットワーク（CapsNet）埋め込みを組み合わせる。
• CapsNetは、要約特化型データセットであるSrc-Summで訓練され、帰納的推論や同等性の検出ではなく、冗長情報の検出に焦点を当てる。
• DPPモデルは、複数の類似度測定法を組み合わせた合成類似度測定法を用いて、情報量が多くかつ冗長でない文の多様で代表的な集合を選択する。
• 一般化性能を向上させるために、2段階のプロセスでファインチューニングを行う：まずSrc-Summデータセットで事前学習し、その後STSでファインチューニングする。
• ヒートマップと類似度スコアを可視化し、コサイン類似度やCapsNet出力といった異なる類似度測定法の性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 キャプセルネットワークは、厳密な意味的同等性ではなく、共通のトピック的内容に基づく冗長性を定義する要約文脈において、文類似度を効果的にモデル化できるか？
• RQ2 TF-IDFとCapsNet埋め込みを組み合わせた類似度測定法は、従来の方法（例：コサイン類似度）に比べ、複数文書要約における冗長性をどれほど効果的に捉えられるか？
• RQ3 要約特化型データセット（Src-Summ）で訓練されたCapsNetは、一般向けNLPデータセット（例：SNLI や STS）で訓練されたものよりも優れた性能を示すか？
• RQ4 改善された類似度測定法は、ベンチマークデータセット上でのDPPベース抽出要約の多様性と質をどの程度向上させるか？
• RQ5 本手法は、LexRank やポインタジェネレータネットワークといった強力なベースラインを、特に小規模で現実世界のデータセットにおいても上回ることができるか？

主な発見

• 提案されたDPPシステムは、改善された類似度測定法を用いることで、DUC-04およびTAC-11ベンチマークデータセットの両方で強力なベースラインを上回り、抽出的複数文書要約において競争力のある性能を示した。
• CapsNetは、新たに構築されたSrc-Summデータセットで94.8%の精度を達成し、STS（64.7%）やSNLIで訓練された場合と比較して顕著に優れており、要約特化型の冗長性検出と強い整合性を示した。
• TF-IDFコサイン類似度とCapsNet埋め込みの組み合わせが、最も効果的な類似度推定をもたらした。これは、トピック語の重複と意味的類似度の両方をバランスよく捉え、SNLIで訓練されたCapsNetに比べて誤検出を減らした。
• ヒートマップ分析から、Src-Summで訓練されたCapsNetは、SNLIやコサイン類似度に比べ、より中程度で現実的である類似度スコアを生成していることがわかった。
• システムは、"$3 million"といった重要なトピック語を冗長性の指標として効果的に捉えており、語の頻度とトピックの一貫性が効果的な要約において重要であることを示した。
• 人的評価では、DPPシステムがバランスが取れており、多様かつ代表的な文の集合を選択しており、LexRankで見られるような長文・中心部の文への過剰依存や、抽象的モデルで一般的な事実の誤りを避けていた。