[論文レビュー] Unsupervised Extractive Summarization using Pointwise Mutual Information

Vishakh Padmakumar, He He|arXiv (Cornell University)|Feb 11, 2021

Topic Modeling参考文献 26被引用数 5

ひとこと要約

本稿では、文とドキュメント間の相互情報量（PMI）を用いてドキュメントへの関連性と要約内での重複度を測定することで、教師なし抽出的要約手法を提案する。微調整された事前学習言語モデルを用いてPMIを推定することで、関連性を最大化し、重複度を最小化する文の貪欲な選択が可能となり、ニュース、医療記事、個人的エピソードなど多様なドメインで類似度ベースのベースラインを上回る性能を発揮する。

ABSTRACT

Unsupervised approaches to extractive summarization usually rely on a notion of sentence importance defined by the semantic similarity between a sentence and the document. We propose new metrics of relevance and redundancy using pointwise mutual information (PMI) between sentences, which can be easily computed by a pre-trained language model. Intuitively, a relevant sentence allows readers to infer the document content (high PMI with the document), and a redundant sentence can be inferred from the summary (high PMI with the summary). We then develop a greedy sentence selection algorithm to maximize relevance and minimize redundancy of extracted sentences. We show that our method outperforms similarity-based methods on datasets in a range of domains including news, medical journal articles, and personal anecdotes.

研究の動機と目的

• ニュース以外のドメインにおけるラベル付きデータの不足に応えるために、文の類似度に依存しない教師なし抽出的要約手法の開発。
• PMIを関連性（文-ドキュメントの依存度）と重複度（文-文の依存度）の測定手段として用いて、要約における文の重要性を形式化。
• 微調整された言語モデルで推定されたPMIスコアを用いて、関連性を最大化し、重複度を最小化する文の貪欲な選択アルゴリズムの設計。
• ニュース、医療記事、個人的物語など、類似度ベースの手法がしばしば失敗する分野においても汎用性を示すことを実証。
• PacSumなどの抽出的ベースラインと同様に、位置バイアス（lead bias）に依存するのを減らす。

提案手法

• 関連性は、文とドキュメント間のPMIとして定義され、言語モデルを用いて条件付き確率P(d|s)と周辺確率P(d)を推定し、log(P(d|s)/P(d))として計算される。
• 重複度は、要約内の文ペア間のPMIとして測定され、P(s_j|s_i)の条件付き確率を用いて、後続の文が先行文から推論可能かどうかを評価する。
• 微調整された事前学習言語モデル（例：BERT）を用いることで、語彙的・埋め込み類似度に依存せず、効率的かつ文脈に適したPMIスコアを推定する。
• 貪欲な文選択アルゴリズムは、蓄積されたPMIスコアに基づき、関連性の向上と重複度の低減を同時に最大化する文を逐次追加する。
• 本手法は位置に依存せず、PacSumのようなモデルがCNN/DMで優れた性能を発揮する原因であるリードバイアスを回避する。
• ROUGEスコアを用いて、CNN/DM、Reddit-TIFU、医療記事データセットで評価され、関連性と重複度の寄与を分離するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 PMIに基づく関連性と重複度の指標は、従来の文類似度ベースの特徴を上回るか？
• RQ2 関連性と重複度を組み合わせた選択基準が、多様なドメインにおける要約性能にどの程度寄与するか？
• RQ3 位置ベースのベースライン（PacSum や lead-k）と比較して、リードバイアスの欠如下でも本手法は優れているか？
• RQ4 PMIの推定に事前学習言語モデルを用いることで、語彙的・埋め込み類似度に比べてより優れたコンテンツ選択が可能になるか？
• RQ5 最終的な要約性能において、関連性と重複度の相対的寄与度はどの程度か？

主な発見

• 提案手法は、CNN/DM、Reddit-TIFU、医療記事データセットで類似度ベースのベースラインを上回り、CNN/DMではROUGE-1スコア36.68、Reddit-TIFUでは18.93を達成した。
• アブレーションスタディの結果、関連性と重複度の両方を組み合わせた場合が最良の性能を示し、関連性のみではCNN/DMでROUGE-1 35.17、重複度のみでは23.85と著しく劣った。
• 本手法は位置に依存せず、PacSumがCNN/DMで優位に働くリードバイアスを回避しており、PacSumの選択文の82.3%が最初の3文内であったのに対し、本手法では21.4%にとどまった。
• PacSumと他の抽出的手法との間の性能差は、主にリードバイアスに起因しており、XSumのようなバイアスのないデータセットではPacSumの性能が著しく低下した。
• 本手法は、ニュース以外のドメイン、特に個人的エピソードや医療記事など、類似度ベースの手法がしばしば失敗する分野においても、良好な汎用性を示した。
• PMIを意味的依存度の測定に用いることで、語彙的・埋め込み類似度に比べてより意味的なコンテンツ選択が可能となり、ROUGEスコアの継続的向上が確認された。