[論文レビュー] Sentence Centrality Revisited for Unsupervised Summarization

Hao Zheng, Mirella Lapata|arXiv (Cornell University)|Jun 8, 2019

Topic Modeling参考文献 48被引用数 21

ひとこと要約

この論文では、文の中心性を向上させるためにBERTによる意味表現を統合し、文書構造における位置的影響を指向性のあるエッジでモデル化することで、グラフベースのモデルにおける文の中心性を向上させる非教師あり要約手法PacSumを提案する。この手法は、TextRank や Lead-3 といった強力なベースラインを著しく上回り、3つの多様なニュースデータセットで、数十万件の例で学習された教師ありモデルと同等の性能を達成する。

ABSTRACT

Single document summarization has enjoyed renewed interests in recent years thanks to the popularity of neural network models and the availability of large-scale datasets. In this paper we develop an unsupervised approach arguing that it is unrealistic to expect large-scale and high-quality training data to be available or created for different types of summaries, domains, or languages. We revisit a popular graph-based ranking algorithm and modify how node (aka sentence) centrality is computed in two ways: (a)~we employ BERT, a state-of-the-art neural representation learning model to better capture sentential meaning and (b)~we build graphs with directed edges arguing that the contribution of any two nodes to their respective centrality is influenced by their relative position in a document. Experimental results on three news summarization datasets representative of different languages and writing styles show that our approach outperforms strong baselines by a wide margin.

研究の動機と目的

• 最小限の学習データを要する非教師あり要約手法を開発し、言語、ドメイン、要約スタイルの多様な環境に一般化可能であることを目的とする。
• 文書における話法的構造と位置的重要性を捉えるのに不十分な無向グラフベースの中心性測定の限界を解決すること。
• 従来のTF-IDFや語の重複に基づく文類似度計算を、BERTからの文脈的埋め込みに置き換えることで、文類似度の計算を改善すること。
• 文の間の非対称的影響を指向性のあるエッジでモデル化し、ニュース記事において初期の文が後の文を支える傾向があることを反映すること。
• グラフベースのランク付け手法に簡単なアーキテクチャ的変更を加えることで、はるかに少ないデータで教師ありモデルと同等の性能を達成できることを示すこと。

提案手法

• 文をノードとし、エッジはBERT文埋め込みを用いて計算された意味的類似度を表す有向グラフを構築する。
• エッジの重みは文の位置に基づいて動的に調整され、前方を向いたエッジ（初期の文から後の文へ）と後方を向いたエッジ（後の文から初期の文へ）の重みを別々に設定する。
• 方向性を考慮した修正版PageRankアルゴリズムを用いて中心性スコアを計算し、後方エッジ（後の文が初期の文を支える）が、元の文が初期に位置する場合に中心性に寄与すると仮定する。
• 位置情報の補正を加えた中心性定式化を採用し、後方エッジに高い重みを割り当てることで、初期の文が後の文の文脈を提供する話法的原則を反映する。
• 要約の文選択は、最終的な中心性スコアに基づき、上位k個の文を抽出することで行い、最終出力を得る。
• ROUGEと質問応答（QA）評価フレームワークを用いて、事実の保持度を測定することで、手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースの文埋め込みは、グラフベースの非教師あり要約における文類似度計算を改善できるか？
• RQ2 無向グラフではなく有向エッジとして文の関係をモデル化することで、顕著な内容の特定が向上するか？
• RQ3 文の順序（例：文の位置）を組み込むことで、ニュース要約における中心性推定がどの程度向上するか？
• RQ4 シンプルな非教師ありグラフベース手法が、大規模データセットで学習された教師ありモデルと同等の性能を達成できるか？
• RQ5 提案手法は、異なる言語、文体、要約タイプにおいても頑健であるか？

主な発見

• PacSumにBERT埋め込みを適用した場合、CNN/Daily Mail、NYT、TTNewsの3つのデータセットすべてで、TextRank や Lead-3 といった強力なベースラインを著しく上回る。
• Narayan et al. (2018b) や See et al. (2017) が数十万件の例で学習した教師ありモデルと同等の性能を達成する。
• QA評価では、Lead-3 を上回り、Refresh（強力な非教師ありベースライン）と有意差がない。
• QA評価では、PacSumがKey情報を効果的に保持しており、Lead-3 や TextRank よりも要約から回答可能な質問の割合が高い。
• 位置情報に補正を加えた有向エッジを用いることで、特に初期に重要な情報が提示されるニュース記事において、中心性推定の向上が明確に観察される。
• 結果から、有向中心性とBERTの組み合わせは、非教師あり要約分野において強力で、かつ未だ十分に活用されていない手法であり、一般化可能性が非常に高いことが示唆される。