[論文レビュー] A Semantically Motivated Approach to Compute ROUGE Scores

Elaheh ShafieiBavani, Mohammad Ebrahimi+2 more|arXiv (Cornell University)|Oct 20, 2017

Topic Modeling参考文献 11被引用数 3

ひとこと要約

本稿では、WordNetを用いたPersonalized PageRankを介して語彙的および意味的類似性を統合することで、人間の判断との相関を向上させる、ROUGEメトリックの意味的強化版であるGRougeを提案する。n-gram一致と sense レベルの意味的類似性を組み合わせることで、言い換えを含む要約の評価において、標準的なROUGEを著しく上回る性能を発揮する。

ABSTRACT

ROUGE is one of the first and most widely used evaluation metrics for text summarization. However, its assessment merely relies on surface similarities between peer and model summaries. Consequently, ROUGE is unable to fairly evaluate abstractive summaries including lexical variations and paraphrasing. Exploring the effectiveness of lexical resource-based models to address this issue, we adopt a graph-based algorithm into ROUGE to capture the semantic similarities between peer and model summaries. Our semantically motivated approach computes ROUGE scores based on both lexical and semantic similarities. Experiment results over TAC AESOP datasets indicate that exploiting the lexico-semantic similarity of the words used in summaries would significantly help ROUGE correlate better with human judgments.

研究の動機と目的

• ROUGEが表層的な語彙的重複に過剰に依存する問題に対処し、言い換えを含む要約の公平な評価を可能にする。
• 語やフレーズ間の意味的類似性を組み込むことで、ROUGEの人的判断との相関を向上させる。
• 語彙的一致と意味的理解の両方をバランスさせる、ハイブリッドメトリックを構築する。
• 語彙的変化や言い換えを含む要約、特に要約生成要約の評価をより効果的に行えるようにROUGEを改善する。

提案手法

• WordNet 3.0 を用いて Personalized PageRank (PPR) を適用し、要約内の語の sense レベルの意味的類似性分布を計算する。
• 類義語の意味の解釈を事前に明確化することで、正確な意味的一致を保証する。
• スケーリング要因 β によって制御される重み付き組み合わせにより、意味的類似性スコアと標準的なROUGE n-gram一致回数を統合する。
• n-gram レベルで、ペアの要約とモデル要約間の語彙的・意味的類似性をグラフベースのアプローチで計算する。
• 語彙的および意味的寄与のバランスを最適化するため、スケーリング要因 β を最適化し、β=0.5 が最良のパフォーマンスを示した。
• 基準ROUGEバージョンとの統計的改善を検証するために、ペアワイズウィリアムズ有意性検定を適用する。

実験結果

リサーチクエスチョン

• RQ1 ROUGEに意味的類似性を統合することで、要約品質に関する人的判断との相関を向上させることができるか？
• RQ2 β によって制御される語彙的類似性と意味的類似性のバランスが、強化されたメトリックのパフォーマンスに与える影響は何か？
• RQ3 提案されたGRouge法は、言い換えを含む要約生成要約の評価において、標準的なROUGEバージョンを著しく上回るか？
• RQ4 意味の解釈レベルでの意味的分析を用いることで、ROUGEの語彙的重複へのバイアスはどの程度軽減されるか？
• RQ5 語彙的形態が異なるが意味は保持されている要約をGRougeは効果的に評価できるか？

主な発見

• GRougeのバリエーションは、TAC 2010 および 2011 AESOP データセットにおいて、すべての3つの人的判断指標（Pyramid、Responsiveness、Readability）で、標準ROUGEおよびROUGE-WEを著しく上回った。
• ペアワイズウィリアムズ有意性検定によると、GRougeによるROUGEへの相関向上はすべて統計的に有意であった（p < 0.05）。
• 最適なスケーリング要因 β は 0.5 であった。これは語彙的および意味的寄与のバランスをとるものであり、β が 0 や 1 に近づくとパフォーマンスが低下した。
• GRouge-2 が最も強い改善を示し、特にスピアマンおよびケンダール順位相関において、人的判断との順位一貫性が向上した。
• 言い換えを含むコンテンツ、例えば「It is raining heavily」と「It is pouring」のような例において、ROUGEが意味的に同等であると認識できないのに対し、本手法はその類似性を正しく捉えることができた。
• 結果から、GRougeは要約生成要約の評価に適しており、テキスト簡略化の評価への応用の可能性を示している。