[논문 리뷰] Variations of the Similarity Function of TextRank for Automated Summarization

Federico Barrios, Federico López외 2명|arXiv (Cornell University)|2016. 02. 11.

Topic Modeling참고 문헌 23인용 수 114

한 줄 요약

논문은 TextRank를 위한 대체 문장-유사도 측정 방법을 제안하고, BM25/BM25+ 기반의 간선 가중치가 DUC2002 데이터셋에서 ROUGE 점수를 향상시키며, BM25가 보고된 최상의 증가를 달성한다.

ABSTRACT

This article presents new alternatives to the similarity function for the TextRank algorithm for automatic summarization of texts. We describe the generalities of the algorithm and the different functions we propose. Some of these variants achieve a significative improvement using the same metrics and dataset as the original publication.

연구 동기 및 목표

• 추출적 요약을 위해 문장 간 유사도 계산 방식을 수정하여 TextRank를 강화한다.
• 표준 벤치마크(DUC 2002)에서 대안 유사도 함수를 평가한다.
• 추가 감독/학습 없이 ROUGE 메트릭을 개선하는 변형을 식별한다.
• 제안 변형의 계산 효율성을 평가한다.

제안 방법

• 문서를 문장 그래프로 표현하고 간선 가중치를 문장 간 유사도에서 도출한다.
• 여러 유사도 변형을 제안하고 구현한다: Longest Common Substring, Cosine TF-IDF, BM25, 및 BM25+.
• BM25 변형을 안정화하기 위해 보정된 IDF 공식을 적용한다.
• DUC 2002 코퍼스에서 ROUGE-1, ROUGE-2, ROUGE-SU4를 사용해 평가한다.
• 원래 TextRank 기준과의 비교를 통해 퍼센트 개선을 보고한다.
• 참고 파이썬 구현을 제공하고 Gensim에 BM25-TextRank를 기여한다.

실험 결과

연구 질문

• RQ1 TextRank의 간선 가중치에 대한 대안 유사도 측정이 추출적 요약의 품질을 향상시키는가?
• RQ2 어떤 유사도 변형이 DUC 2002 데이터셋에서 가장 큰 ROUGE 향상을 보이는가?
• RQ3 BM25 기반 변형은 TextRank의 전통적 TF-IDF 또는 중첩 기반 측정과 비교해 어떤 성능 차이가 있는가?
• RQ4 제안 변형의 품질 향상과 계산 시간 간의 트레이드오프는 무엇인가?

주요 결과

Method	ROUGE-1	ROUGE-2	ROUGE-SU4	Improvement
BM25 (ε = 0.25)	0.4042	0.1831	0.2018	2.92%
BM25+ (ε = 0.25)	0.404	0.1818	0.2008	2.60%
Cosine TF-IDF	0.4108	0.177	0.1984	2.54%
BM25+ (IDF = log(N/Ni))	0.4022	0.1805	0.1997	2.05%
BM25 (IDF = log(N/Ni))	0.4012	0.1808	0.1998	1.97%
Longest Common Substring	0.402	0.1783	0.1971	1.40%
BM25+ (ε = 0)	0.3992	0.1803	0.1976	1.36%
BM25 (ε = 0)	0.3991	0.1778	0.1966	0.89%
TextRank	0.3983	0.1762	0.1948	–
BM25	0.3916	0.1725	0.1906	-1.57%
BM25+	0.3903	0.1711	0.1894	-2.07%
DUC Baseline	0.39	0.1689	0.186	-2.84%

• 특정 보정식과 함께 BM25 및 BM25+가 가장 높은 ROUGE 향상을 보여 원래 TextRank 대비 2.92% 향상시킨다.
• 코사인 TF-IDF도 원래 TextRank 대비 주목할 만한 2.54% 향상을 보인다.
• Longest Common Substring은 TextRank 대비 미묘하게 1.40% 향상을 제공한다.
• BM25 및 BM25+ 변형은 일반적으로 ROUGE 지표에서 여러 다른 변형 및 베이스라인을 능가한다.
• 최고 성능 설정(BM25, ε=0.25)은 원래 TextRank보다 빠르게 DUC 567-문서 코퍼스를 처리한다(원래 시간의 84%).
• 저자들은 참조 Python 구현을 제공하고 BM25-TextRank를 Gensim에 기여했다.