[論文レビュー] ROUGE 2.0: Updated and Improved Measures for Evaluation of Summarization Tasks

Kavita Ganesan|arXiv (Cornell University)|Mar 5, 2018

Natural Language Processing Techniques参考文献 3被引用数 105

ひとこと要約

本論文は ROUGE 2.0 を紹介し、同義語対応およびトピック中心の評価指標（ROUGE-N+Synonyms、ROUGE-Topic、ROUGE-Topic+Synonyms、ROUGE-TopicUniq、ROUGE-TopicUniq+Synonyms）を拡張し、改善された意味論的に意識した要約評価のための Java 実装を提供する。

ABSTRACT

Evaluation of summarization tasks is extremely crucial to determining the quality of machine generated summaries. Over the last decade, ROUGE has become the standard automatic evaluation measure for evaluating summarization tasks. While ROUGE has been shown to be effective in capturing n-gram overlap between system and human composed summaries, there are several limitations with the existing ROUGE measures in terms of capturing synonymous concepts and coverage of topics. Thus, often times ROUGE scores do not reflect the true quality of summaries and prevents multi-faceted evaluation of summaries (i.e. by topics, by overall content coverage and etc). In this paper, we introduce ROUGE 2.0, which has several updated measures of ROUGE: ROUGE-N+Synonyms, ROUGE-Topic, ROUGE-Topic+Synonyms, ROUGE-TopicUniq and ROUGE-TopicUniq+Synonyms; all of which are improvements over the core ROUGE measures.

研究の動機と目的

• 元の ROUGE 指標が同義語の捕捉、内容カバー、トピックレベルの評価を適切に捉えきれていない点を特定する。
• 意味的重複とトピック/サブセットカバーを解決する更新された ROUGE 指標を提案・定義する。
• ROUGE 2.0 の Java ベースの実装と、ドメイン固有の同義語辞書の使用に関するガイダンスを提供する。

提案手法

• 同義語辞典を介して意味的重複を捉えるために ROUGE-{N|Topic|TopicUniq}+Synonyms を導入する。
• POSベースのトークンを用いてトピックまたはサブセットカバーを評価する ROUGE-Topic および ROUGE-TopicUniq を定義する。
• Recall と Precision の定式化を含む ROUGE-Topic および ROUGE-TopicUniq の形式的定義を提供する。
• 同義語およびトピックベースの指標が、例示要約における Recall、Precision、Fスコアにどのように影響するかを示す。
• Java 実装と、ドメイン・言語固有の同義語リソースへのリンクに関する注意点を記述する。

実験結果

リサーチクエスチョン

• RQ1 同義語が存在する場合、またはコンテンツトピックのサブセットのみが評価される場合、ROUGE スコアは誤解を招く可能性があるか。
• RQ2 同義語対応およびトピック重視の指標は、異なる内容次元にわたる要約品質をより正確に反映するか。
• RQ3 ROUGE-Topic および ROUGE-TopicUniq のバリアントは、標準 ROUGE と比較して内容カバーと凝縮性をどのように評価するか？

主な発見

RougeTopic	Recall	Precision	F-Score
ROUGE-TopicNN|JJ	0.800	0.667	0.727
SysSum1	ROUGE-TopicNN|JJ + Synonyms	1.000	0.833	0.909
ROUGE-TopicUniqNN|JJ	0.800	0.800	0.800
ROUGE-TopicUniqNN|JJ + Synonyms	1.000	1.000	1.000
RougeTopic	Recall	Precision	F-Score
ROUGE-TopicNN|JJ	0.800	0.308	0.444
SysSum2	ROUGE-TopicNN|JJ + Synonyms	1.000	0.385	0.556
ROUGE-TopicUniqNN|JJ	0.800	0.364	0.500
ROUGE-TopicUniqNN|JJ + Synonyms	1.000	0.455	0.625

• ROUGE-1 + StopWordRemoval + Synonyms は、図示された例で完璧なリコール (1.000) をもたらし、意味的重複の改善を強調する。
• ROUGE-TopicNN|JJ および ROUGE-TopicUniqNN|JJ は、同義語を使用した場合にトピックカバーの測定が改善され、例でより高い F スコアを示す。
• ROUGE-TopicUniq バリアントは反復を減らし、非 uniq トピック指標と比較して凝縮されたトピックカバーをより正確に反映する。
• ROUGE 2.0 パッケージはプラットフォームの柔軟性のために Java で実装され、モジュール式の同義語辞書システムと POS ベースのトピック評価を備える。
• Table-based デモンストレーション（Example 1.1）は、同義語およびユニークトピック指標が、バリアント全体でリコール/精度/Fスコアをどのように変化させるかを示す。
• ROUGE-2.0 は、ドメイン固有の同義語辞書の統合と複数の POS タグ構成のガイダンスを提供する。