[논문 리뷰] A Semantically Motivated Approach to Compute ROUGE Scores

Elaheh ShafieiBavani, Mohammad Ebrahimi외 2명|arXiv (Cornell University)|2017. 10. 20.

Topic Modeling참고 문헌 11인용 수 3

한 줄 요약

이 논문은 ROUGE 메트릭의 의미적 강화된 변종인 GRouge를 제안한다. 이는 WordNet 기반 개인화된 PageRank를 사용하여 어휘적 및 의미적 유사성을 통합함으로써 인간 평가와의 상관관계를 향상시킨다. n-그램 매칭과 의미 수준의 유사성을 결합함으로써, 특히 어색한 요약(다시 표현된 요약)에서 표준 ROUGE보다 뚜렷이 뛰어나다.

ABSTRACT

ROUGE is one of the first and most widely used evaluation metrics for text summarization. However, its assessment merely relies on surface similarities between peer and model summaries. Consequently, ROUGE is unable to fairly evaluate abstractive summaries including lexical variations and paraphrasing. Exploring the effectiveness of lexical resource-based models to address this issue, we adopt a graph-based algorithm into ROUGE to capture the semantic similarities between peer and model summaries. Our semantically motivated approach computes ROUGE scores based on both lexical and semantic similarities. Experiment results over TAC AESOP datasets indicate that exploiting the lexico-semantic similarity of the words used in summaries would significantly help ROUGE correlate better with human judgments.

연구 동기 및 목표

• 표면적 어휘 일치에 과도하게 의존하는 ROUGE의 문제를 해결하여, 다시 표현된 어색한 요약에 대한 공정한 평가를 가능하게 하기 위해.
• 단어와 구문 간의 의미적 유사성을 통합하여 ROUGE의 인간 평가와의 상관관계를 향상시키기 위해.
• 어휘 매칭과 의미 이해를 균형 있게 조합한 하이브리드 메트릭을 개발하여 더 견고한 자동 요약 평가를 가능하게 하기 위해.
• 어휘적 변형과 다시 표현된 요약을 포함한 요약 평가에 ROUGE가 더 잘 대응할 수 있도록 하기 위해, 특히 어색한 요약에서.

제안 방법

• 요약에 포함된 단어의 의미 수준 의미 유사성 분포를 계산하기 위해 WordNet 3.0에 Personalized PageRank (PPR)를 적용한다.
• 정확한 의미 매칭을 보장하기 위해 의미 분류를 수행한 후에 유사성 계산을 수행한다.
• 스케일링 인자 β에 의해 제어되는 가중 조합을 사용하여 의미 유사성 점수를 표준 ROUGE n-그램 매칭 수와 통합한다.
• 그래프 기반 접근 방식을 사용하여 n-그램 수준에서 피어 요약과 모델 요약 간의 어휘-의미 유사성을 계산한다.
• 어휘적 기여와 의미적 기여의 균형을 맞추기 위해 스케일링 인자 β를 최적화하며, β=0.5일 때 최고의 성능을 보였다.
• 기본 ROUGE 버전 대비 통계적 향상 여부를 검증하기 위해 쌍별 Williams 유의성 검정을 적용한다.

실험 결과

연구 질문

• RQ1 ROUGE에 의미 유사성을 통합하면 요약 품질에 대한 인간 평가와의 상관관계가 향상되는가?
• RQ2 스케일링 인자 β로 제어되는 어휘적 유사성과 의미적 유사성 간의 균형은 향상된 메트릭의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 GRouge 방법은 다시 표현된 어색한 요약 평가에서 표준 ROUGE 버전을 뛰어넘는가?
• RQ4 의미 수준의 의미 분석을 사용함으로써 ROUGE의 어휘 일치에 대한 편향은 어느 정도 감소하는가?
• RQ5 어휘 형태는 다를지라도 의미는 유지된 요약을 GRouge가 효과적으로 평가할 수 있는가?

주요 결과

• TAC 2010 및 2011 AESOP 데이터셋에서 GRouge 변종은 인간 평가 지표(Pyramid, Responsiveness, Readability) 전반에서 표준 ROUGE 및 ROUGE-WE를 뚜렷이 뛰어넘었다.
• 모든 GRouge 대비 ROUGE의 상관관계 향상은 쌍별 Williams 유의성 검정에 따라 통계적으로 유의미했다(p < 0.05).
• 최적의 스케일링 인자 β는 0.5로 확인되었으며, 이는 어휘적 기여와 의미적 기여를 균형 있게 조절했고, β가 0 또는 1에 가까워질수록 성능이 저하됨을 보였다.
• GRouge-2가 가장 뚜렷한 향상을 보였으며, 특히 스피어만 및 켄달 순위 상관관계에서 높은 수준의 랭킹 일致성과 인간 평가와의 일치를 보였다.
• 예를 들어 '비가 심하게 오르다'와 '비가 쏟아지다'처럼 의미는 동일하지만 어휘가 다른 표현에 대해 ROUGE는 의미적 동치성을 인식하지 못하지만, 이에 대해 GRouge는 효과적으로 대응함을 보였다.
• 결과적으로 GRouge는 어색한 요약 평가에 매우 적합하며, 텍스트 단순화 평가 분야에도 응용 가능성이 있다.