[논문 리뷰] Revisiting Summarization Evaluation for Scientific Articles

Arman Cohan, Nazli Goharian|arXiv (Cornell University)|2016. 04. 01.

Topic Modeling참고 문헌 20인용 수 36

한 줄 요약

이 논문은 과학 논문 요약에 대한 평가 척도로서 Rouge의 신뢰성을 도전하며, Rouge 점수와 수동으로 평가한 Pyramid 평가 간의 약한 상관관계를 입증한다. 본 논문은 인간 평가와의 상관관계가 높고 일관성 있는 성능을 보이며, 과학 요약 작업에서 모든 Rouge 버전보다 뛰어난 성능을 보이는 내용의 관련성 기반 척도인 Sera(Summarization Evaluation by Relevance Analysis)를 제안한다.

ABSTRACT

Evaluation of text summarization approaches have been mostly based on metrics that measure similarities of system generated summaries with a set of human written gold-standard summaries. The most widely used metric in summarization evaluation has been the ROUGE family. ROUGE solely relies on lexical overlaps between the terms and phrases in the sentences; therefore, in cases of terminology variations and paraphrasing, ROUGE is not as effective. Scientific article summarization is one such case that is different from general domain summarization (e.g. newswire data). We provide an extensive analysis of ROUGE's effectiveness as an evaluation metric for scientific summarization; we show that, contrary to the common belief, ROUGE is not much reliable in evaluating scientific summaries. We furthermore show how different variants of ROUGE result in very different correlations with the manual Pyramid scores. Finally, we propose an alternative metric for summarization evaluation which is based on the content relevance between a system generated summary and the corresponding human written summaries. We call our metric SERA (Summarization Evaluation by Relevance Analysis). Unlike ROUGE, SERA consistently achieves high correlations with manual scores which shows its effectiveness in evaluation of scientific article summarization.

연구 동기 및 목표

• Rouge가 과학 논문 요약의 표준 평가 척도로서 타당한지 평가하는 것.
• 다양한 Rouge 버전이 과학 요약의 인간 평가 점수와의 상관관계에서 성능 차이를 어떻게 보이는지 분석하는 것.
• 과학적 텍스트에서 흔한 용어 변형과 다의어 표현을 다루는 데에 어려움을 겪는 어휘 일치 기반 척도의 한계를 해결하는 것.
• 내용의 관련성 분석 기반으로 새로운 평가 척도인 Sera를 제안하고 검증하는 것.
• TAC 2014 과학 요약 데이터셋에 대한 인간이 애너테이션한 Pyramid 점수를 제공하는 것.

제안 방법

• TAC 2014 생물의학 요약 데이터셋의 요약문에 대해 여러 Rouge 버전(Rouge-1, Rouge-2, Rouge-3, Rouge-L 등)과 반수동 Pyramid 점수 간의 종합적인 상관관계 분석을 수행한다.
• 엄격한 n-그램 일치를 피하고 의미적 및 어휘 일치 분석을 활용하여 시스템 생성 요약과 기준 요약 간의 내용 관련성을 계산하는 Sera를 개발한다.
• 어휘적 일치보다 의미적 내용에 중점을 두고, 용어 및 어구 정렬 기반의 관련성 점수 기반 메커니즘을 사용한다.
• Pearson 상관관계와 같은 통계적 방법을 활용하여 Sera와 Rouge 버전을 인간 Pyramid 점수와 비교한다.
• 다양한 시스템 출력물에 대해 Sera와 Rouge의 효과성을 검증하기 위해 인간이 애너테이션한 Pyramid 점수를 활용한다.
• 재현 가능성을 위해 주로 TAC 2014 데이터셋을 벤치마크로 사용하며, 애너테이션 자료를 공개한다.

실험 결과

연구 질문

• RQ1 높은 용어 변형과 다의어 표현이 흔한 과학적 요약의 맥락에서 Rouge는 얼마나 효과적인가?
• RQ2 다양한 Rouge 버전이 과학 요약에서 인간 평가 점수와의 상관관계에서 유의미한 차이를 보이는가?
• RQ3 내용의 관련성 기반 척도는 과학 텍스트의 요약 품질에 대한 인간 평가를 더 잘 반영할 수 있는가?
• RQ4 Rouge의 어휘 일치 한계가 과학 요약에서의 신뢰성에 어떤 영향을 미치는가?
• RQ5 과학 요약 평가에 더 일관되고 신뢰할 수 있는 Rouge의 대안은 존재하는가?

주요 결과

• Rouge는 다양한 버전 간에 약하고 일관성 없는 상관관계를 보이며, 과학 요약에 있어서의 신뢰성에 의문을 제기한다.
• Rouge 버전 중에서 Rouge-2와 Rouge-3가 인간 평가와 가장 높은 상관관계를 보였지만, 여전히 강력한 성능을 달성하지 못한다.
• Sera는 모든 Rouge 버전보다 인간 평가와 더 높고 일관된 피어슨 상관관계를 확보하여 인간 평가와의 정렬도가 뛰어나다는 것을 입증한다.
• 연구 결과, Rouge 버전 간 상관관계 값의 큰 변동성을 확인하여, 보고된 Rouge 점수가 일관되게 신뢰할 수 없다는 점을 드러낸다.
• 제안된 Sera 척도는 어휘 일치의 한계를 내용의 관련성에 중점을 두어 효과적으로 완화함으로써, 더 견고한 평가가 가능해졌다.
• TAC 2014 데이터셋에 대한 인간이 애너테이션한 Pyramid 점수는 공개되어 있어 재현성과 향후 벤치마크에 유용하다.