[論文レビュー] SUPERT: Towards New Frontiers in Unsupervised Evaluation Metrics for Multi-Document Summarization

Yang Gao, Wei Zhao+1 more|arXiv (Cornell University)|May 7, 2020

Topic Modeling参考文献 35被引用数 14

ひとこと要約

SUPERTは、文脈的埋め込み（例：SBERT）とソフトトークンアライメントを用いて、ソースドキュメント内の顕著な文から擬似リファレンス要約を生成することで、意味的類似度を測定する、マルチドキュメント要約のための新規な教師なし評価指標である。これは、最先端の教師なし指標と比較して、人間の評価との相関が18–39%高い性能を示し、強化学習ベースの要約モデルのROUGE-2スコアを最大17%向上させる。

ABSTRACT

We study unsupervised multi-document summarization evaluation metrics, which require neither human-written reference summaries nor human annotations (e.g. preferences, ratings, etc.). We propose SUPERT, which rates the quality of a summary by measuring its semantic similarity with a pseudo reference summary, i.e. selected salient sentences from the source documents, using contextualized embeddings and soft token alignment techniques. Compared to the state-of-the-art unsupervised evaluation metrics, SUPERT correlates better with human ratings by 18-39%. Furthermore, we use SUPERT as rewards to guide a neural-based reinforcement learning summarizer, yielding favorable performance compared to the state-of-the-art unsupervised summarizers. All source code is available at https://github.com/yg211/acl20-ref-free-eval.

研究の動機と目的

• 人間が作成したリファレンスやアノテーションを一切必要としない教師なしのマルチドキュメント要約評価指標の開発。
• 自動評価スコアと要約の関連性に関する人間の判断との相関を向上させること。
• 強化学習ベースの要約モデルにおけるSUPERTの報酬信号としての利用を検討し、人間によるアノテーションデータへの依存を低減すること。
• マルチドキュメント要約タスクにおける人間によるアノテーション評価の高コストとスケーラビリティの問題に対処すること。
• SUPERTが教師なし設定下でニューラル要約モデルに最先端の性能を達成させる導線となることを示すこと。

提案手法

• 位置に敏感なグラフベースの文選択法などのヒューリスティック手法を用いて、各ソースドキュメントから上位10または上位15の顕著な文を選択し、擬似リファレンス要約を構築する。
• 生成された要約と擬似リファレンス要約の両方を、文脈的文書埋め込み（例：SBERT）で符号化する。
• トークンレベルでの意味的類似度を計算するために、ソフトトークンアライメントを適用する。
• 要約の関連性を、生成された要約と擬似リファレンス要約間の平均意味的類似度として測定する。
• 強化学習フレームワーク（NTD）にSUPERTを報酬関数として統合し、抽出型要約モデルを学習する。
• SUPERTスコアを密度的で連続的な報酬として使用して、人間のアノテーションを一切必要としないエンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 教師なし評価指標として、既存の教師なし指標と比較して人間の関連性評価との相関を著しく高めることができるか？
• RQ2 文脈的埋め込みとソフトトークンアライメントの組み合わせは、要約とソースドキュメント間の意味的オーバーラップを測定するためにどれほど有効か？
• RQ3 SUPERTは、人間によるアノテーションなしで、強化学習ベースの要約モデルの学習に強力でスケーラブルな報酬信号として機能できるか？
• RQ4 ソースドキュメントからの顕著な文選択を擬似リファレンスとして用いることで、全ドキュメントを擬似リファレンスとする単純なベースラインを上回るか？
• RQ5 SUPERTは、最先端の手法と比較して、教師なしニューラル要約モデルの性能をどの程度向上させるか？

主な発見

• TAC’08およびTAC’09データセットにおいて、SUPERTは最先端の教師なし指標と比較して、人間の関連性評価とのケンダールのτ相関が18–39%高い。
• 最も優れたSUPERTバージョン（上位10または15文とSBERT埋め込みを使用）は、評価および強化学習の両設定で、すべてのベースラインを上回る。
• NTD（強化学習ベースの要約モデル）の報酬として使用された場合、SUPERTはTAC’08では最先端の教師なし手法（YLS15）と同等の性能を示し、TAC’09では顕著に優れた性能を示し、ROUGE-2スコアで17%の向上を達成した。
• 位置に敏感なグラフベースの方法は、位置に無関係な方法や単純な上位文選択よりも優れており、構造的な文の関係性が顕著性検出を向上させることを示している。
• SUPERTを報酬として使用することで、強化学習ベースの要約モデルのデータ効率的な学習が可能となり、ラベルなしドキュメントから無限に要約-報酬ペairを生成することで、データ不足問題を効果的に緩和できる。
• SUPERTに基づく学習は、より関連性が高く、滑らかな要約を生成する傾向にあり、ROUGEスコアの向上と人間の判断との強い整合性から裏付けられている。