[논문 리뷰] ROUGE 2.0: Updated and Improved Measures for Evaluation of Summarization Tasks

Kavita Ganesan|arXiv (Cornell University)|2018. 03. 05.

Natural Language Processing Techniques참고 문헌 3인용 수 105

한 줄 요약

논문은 ROUGE 2.0를 도입하여 동의어 인식 및 주제 중심 평가 지표(ROUGE-N+Synonyms, ROUGE-Topic, ROUGE-Topic+Synonyms, ROUGE-TopicUniq, ROUGE-TopicUniq+Synonyms)를 확장하고 향상된 의미 인식 요약 평가를 위한 Java 구현을 제공한다.

ABSTRACT

Evaluation of summarization tasks is extremely crucial to determining the quality of machine generated summaries. Over the last decade, ROUGE has become the standard automatic evaluation measure for evaluating summarization tasks. While ROUGE has been shown to be effective in capturing n-gram overlap between system and human composed summaries, there are several limitations with the existing ROUGE measures in terms of capturing synonymous concepts and coverage of topics. Thus, often times ROUGE scores do not reflect the true quality of summaries and prevents multi-faceted evaluation of summaries (i.e. by topics, by overall content coverage and etc). In this paper, we introduce ROUGE 2.0, which has several updated measures of ROUGE: ROUGE-N+Synonyms, ROUGE-Topic, ROUGE-Topic+Synonyms, ROUGE-TopicUniq and ROUGE-TopicUniq+Synonyms; all of which are improvements over the core ROUGE measures.

연구 동기 및 목표

• 원래 ROUGE 측정이 동의어, 콘텐츠 커버리지 및 토픽 수준 평가를 포착하는 데 한계가 있음을 식별한다.
• 의미론적 중첩 및 주제/부분집합 커버리지를 다루는 업데이트된 ROUGE 측정치를 제안하고 정의한다.
• ROUGE 2.0의 Java 기반 구현과 도메인별 동의어 사전 사용에 대한 가이드를 제공한다.

제안 방법

• 동의어 사전을 통해 의미론적 중첩을 포착하기 위해 ROUGE-{N|Topic|TopicUniq}+Synonyms을 도입한다.
• POS 기반 토큰을 사용하여 주제 또는 부분집합 커버리지를 평가하기 위해 ROUGE-Topic 및 ROUGE-TopicUniq를 정의한다.
• ROUGE-Topic 및 ROUGE-TopicUniq에 대한 재현 및 정밀도 형식을 포함한 형식적 정의를 제공한다.
• 예시 요약에서 동의어 및 주제 기반 측정이 재현율, 정밀도 및 F-스코어에 어떻게 영향을 미치는지 시연한다.
• Java 구현과 도메인/언어별 동의어 자원 연결에 대한 주의사항을 설명한다.

실험 결과

연구 질문

• RQ1 동의어가 존재하거나 콘텐츠 주제의 부분집합만 평가될 때 ROUGE 점수가 오해의 소지가 있을 수 있는가?
• RQ2 동의어 인식 및 주제 중심 측정이 서로 다른 콘텐츠 차원에서 요약 품질을 더 정확하게 반영하는가?
• RQ3 ROUGE-Topic 및 ROUGE-TopicUniq 변형은 콘텐츠 커버리지와 간결성 측정에서 표준 ROUGE와 어떻게 비교되는가?

주요 결과

• ROUGE-1 + StopWordRemoval + Synonyms는 도해된 예에서 완벽한 재현율(1.000)을 산출하여 의미론적 중첩 개선을 강조한다.
• ROUGE-TopicNN|JJ 및 ROUGE-TopicUniqNN|JJ는 동의어를 사용할 때 주제 커버리지 측정이 개선되어 예에서 더 높은 F-스코어를 보인다.
• ROUGE-TopicUniq 변형은 반복을 줄이고 비고유 주제 측정에 비해 간결한 주제 커버리지를 더 잘 반영한다.
• ROUGE 2.0 패키지는 플랫폼 유연성을 위해 Java로 구현되었으며 모듈식 동의어 사전 시스템과 POS 기반 주제 평가를 갖춘다.
• 표 기반 데모(Example 1.1)는 동의어 및 고유 주제 측정이 변형 간 재현율/정밀도/F-스코어를 어떻게 바꾸는지 보여준다.
• ROUGE-2.0은 도메인별 동의어 사전과 다중 POS 태그 구성의 통합에 대한 지침을 제공한다.