[論文レビュー] Revisiting Summarization Evaluation for Scientific Articles

Arman Cohan, Nazli Goharian|arXiv (Cornell University)|Apr 1, 2016

Topic Modeling参考文献 20被引用数 36

ひとこと要約

この論文は、科学的論文要約におけるRougeの信頼性に疑問を呈し、Rougeスコアと手動によるPyramid評価の間の相関が弱いことを示している。Sera（内容関連性分析による要約評価）を提案し、人間の判断と著しく高く一貫性のある相関を達成しており、科学的要約タスクにおいてすべてのRougeバリアントを上回る性能を示している。

ABSTRACT

Evaluation of text summarization approaches have been mostly based on metrics that measure similarities of system generated summaries with a set of human written gold-standard summaries. The most widely used metric in summarization evaluation has been the ROUGE family. ROUGE solely relies on lexical overlaps between the terms and phrases in the sentences; therefore, in cases of terminology variations and paraphrasing, ROUGE is not as effective. Scientific article summarization is one such case that is different from general domain summarization (e.g. newswire data). We provide an extensive analysis of ROUGE's effectiveness as an evaluation metric for scientific summarization; we show that, contrary to the common belief, ROUGE is not much reliable in evaluating scientific summaries. We furthermore show how different variants of ROUGE result in very different correlations with the manual Pyramid scores. Finally, we propose an alternative metric for summarization evaluation which is based on the content relevance between a system generated summary and the corresponding human written summaries. We call our metric SERA (Summarization Evaluation by Relevance Analysis). Unlike ROUGE, SERA consistently achieves high correlations with manual scores which shows its effectiveness in evaluation of scientific article summarization.

研究の動機と目的

• 科学的論文要約におけるRougeを標準的評価指標としての妥当性を評価すること。
• 人間の判断との相関において、さまざまなRougeバリアントの性能差を分析すること。
• 科学的テキストに一般的な用語の変種や言い換えに対応できない、語彙的一致に基づく指標の限界を解決すること。
• 内容関連性分析に基づく新しい評価指標Seraを提案し、検証すること。
• TAC 2014科学的要約データセットのための人間アノテーション済みPyramidスコアを提供すること。

提案手法

• TAC 2014生物医学的要約データセットの要約について、複数のRougeバリアント（Rouge-1、Rouge-2、Rouge-3、Rouge-Lなど）と準手動Pyramidスコアとの間で包括的な相関分析を実施する。
• 語彙的・意味的重複度の分析を用いて、システム生成要約とゴールスタンダード要約との間の内容関連性を計算するSeraを開発する。厳密なn-gramマッチングを避ける。
• 語彙的・フレーズのアライメントに基づく関連性スコアリング機構を用い、表面的な語彙的一致ではなく意味的コンテンツに焦点を当てる。
• ピアソン相関などの統計的手法を用いて、SeraとRougeバリアントを人間のPyramidスコアと比較する。
• SeraとRougeの有効性を検証するために、人間アノテート済みPyramidスコアを活用し、複数のシステム出力に対して評価を実施する。
• 再現可能性を確保するため、主なベンチマークとしてTAC 2014データセットを用い、アノテーションを公開する。

実験結果

リサーチクエスチョン

• RQ1 科学的要約は用語の変種や言い換えが多く見られるが、Rougeはそれらの要約評価においてどれほど有効であるか。
• RQ2 Rougeの異なるバリアントは、科学的要約における人間の評価スコアと著しく異なる相関を示すか。
• RQ3 内容関連性に基づく指標は、科学的テキストの要約品質に関する人間の判断をRougeよりもよく捉えることができるか。
• RQ4 語彙的重複の制限は、Rougeの科学的要約における信頼性にどのような影響を与えるか。
• RQ5 科学的要約の評価において、Rougeよりも一貫性があり信頼性の高い代替指標は存在するか。

主な発見

• Rougeは、さまざまなバリアントにおいて手動Pyramidスコアとの相関が弱く、一貫性に欠け、科学的要約における信頼性に疑問を呈する。
• Rougeバリアントの中で、Rouge-2とRouge-3が人間の判断との相関が最も高いが、依然として強い性能とは言えない。
• Seraは、いかなるRougeバリアントよりも一貫して高いピアソン相関をPyramidスコアと示しており、人間評価との整合性が優れていることを示している。
• 研究では、Rougeバリアント間で相関値の大きなばらつきが明らかになった。これは、報告されるRougeスコアが一貫して信頼できるわけではないことを示している。
• 提案されたSera指標は、語彙的重複の制限を効果的に軽減し、内容関連性に焦点を当てることで、より強固な評価が可能になった。
• TAC 2014データセットのための人間アノテート済みPyramidスコアは公開されており、再現性と今後のベンチマークに役立つ。