[논문 리뷰] Efficient and Effective Single-Document Summarizations and A Word-Embedding Measurement of Quality

Liqun Shao, Hao Zhang외 2명|arXiv (Cornell University)|2017. 10. 01.

Advanced Text Analysis Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 소프트플러스 함수를 통한 키워드 순위 향상과 토픽 클러스터링을 활용한 개선된 키워드 랭킹을 통해 실시간으로 작동하는 비지도(single-document) 요약 알고리즘을 제안한다. 이는 DUC-02에서 최신 기준 ROUGE 재현율 점수를 달성한다. 또한, 워드 임베딩 기반의 유사도 측정 방법인 WESM(Word-Embedding Similarity Measure)을 도입하여 워드 무버의 거리(Word Mover's Distance)를 활용하며, 인간 평가와의 높은 상관관계를 보이며, 인간 기반 기준이 없는 신뢰할 수 있는 자동 요약 품질 평가를 가능하게 한다.

ABSTRACT

Our task is to generate an effective summary for a given document with specific realtime requirements. We use the softplus function to enhance keyword rankings to favor important sentences, based on which we present a number of summarization algorithms using various keyword extraction and topic clustering methods. We show that our algorithms meet the realtime requirements and yield the best ROUGE recall scores on DUC-02 over all previously-known algorithms. We show that our algorithms meet the realtime requirements and yield the best ROUGE recall scores on DUC-02 over all previously-known algorithms. To evaluate the quality of summaries without human-generated benchmarks, we define a measure called WESM based on word-embedding using Word Mover's Distance. We show that the orderings of the ROUGE and WESM scores of our algorithms are highly comparable, suggesting that WESM may serve as a viable alternative for measuring the quality of a summary.

연구 동기 및 목표

• 10,000단어 이내의 문서에 대해 엄격한 지연 시간 제약 조건을 충족하는 실시간 비지도 요약 알고리즘 개발
• 소프트플러스 함수를 통한 키워드 중요도 향상과 토픽 클러스터링 통합을 통해 요약 품질 향상
• 요약 품질 평가를 위한 인간 애너테이션 기반 벤치마크에 대한 신뢰할 수 있는 자동 대체 수단 마련
• 워드 임베딩과 워드 무버의 거리 기반 WESM이 ROUGE 점수와 높은 상관관계를 보이며 인간 평가의 유의미한 대체 수단이 될 수 있음을 검증

제안 방법

• 소프트플러스 함수를 적용하여 키워드 점수 재가중 처리하여 높은 순위 키워드의 중요도를 높여 문장 선택 향상
• TextTiling와 LDA를 통한 토픽 클러스터링 통합으로 요약의 다양하고 대표적인 토픽 커버리지 확보
• RAKE, TextRank, TF-IDF 등 다양한 키워드 추출 방법을 소프트플러스 강화 랭킹과 결합하여 다수의 요약 알고리즘에 적용
• 워드 무버의 거리 기반으로 요약과 원본 문서 간 의미 유사도를 측정하는 WESM(Word-Embedding Similarity Measure) 개발
• DUC-02와 NewsIR-16에서 WESM 순위를 ROUGE 재현율 점수와 비교하여 인간 평가와의 상관관계 검증
• 모든 알고리즘은 파이썬으로 구현 및 벤치마크 수행하여 문서 크기에 따른 런타임 측정을 통해 실시간 성능 확보

실험 결과

연구 질문

• RQ1 소프트플러스 강화 키워드 랭킹과 토픽 클러스터링을 통한 요약 알고리즘은 실시간 성능 제약 조건을 충족하면서도 최신 기준 ROUGE 재현율 점수를 달성할 수 있는가?
• RQ2 워드 임베딩과 워드 무버의 거리 기반 WESM은 인간 애너테이션 ROUGE 점수와 유사한 요약 품질 순위를 제공하는가?
• RQ3 RAKE, TextRank 등 다양한 키워드 추출 방법이 소프트플러스 및 토픽 클러스터링과 조합되었을 때 ROUGE 점수와 런타임 측면에서 어떻게 성능을 발휘하는가?
• RQ4 WESM은 DUC-02와 NewsIR-16 등 다양한 데이터셋에서 알고리즘 성능 순서를 일관되게 유지하는가?

주요 결과

• ET3Rank는 이전에 알려진 모든 알고리즘 중에서 DUC-02에서 가장 높은 ROUGE 재현율 점수를 기록하여 최고 성능 알고리즘으로 확인됨
• WESM은 DUC-02에서 ROUGE 순위와 1/6의 정규화된 L1-노름 거리를 보이며 강한 상관관계와 높은 유사성을 입증함
• ET3Rank의 런타임은 3,000단어 이하 문서에서는 0.5초 이내, 5,500단어 이하에서는 1초 이내, 10,000단어 이하에서는 2.75초 이내로 실시간 요구 조건 충족
• ESRAKE와 PRAKE는 거의 선형적이고 매우 빠른 런타임 성능을 보이며 고처리량 응용 분야에 적합함
• LDA 기반 알고리즘인 LDARAKE는 런타임이 길어 10,000단어 문서 기준 약 79초로 실시간 사용에 부적합함
• DUC-02와 NewsIR-16에서 WESM와 ROUGE의 알고리즘 성능 순서가 매우 일관되게 유지되어 WESM의 평가 기준으로서의 신뢰성 확인됨