[논문 리뷰] Extraction of Keyphrases from Text: Evaluation of Four Algorithms

Peter D. Turney|ArXiv.org|2002. 12. 08.

Advanced Text Analysis Techniques참고 문헌 24인용 수 62

한 줄 요약

이 논문은 수작업으로 생성된 关련어 집합을 기준으로, Microsoft Word 97의 AutoSummarize, Eric Brill의 품사 태거 기반 알고리즘, Verity Search 97의 Summarize 기능, NRC의 Extractor를 포함한 네 가지 핵심어 추출 알고리즘을 다섯 개의 문서 컬렉션에서 평가한다. NRC의 Extractor는 모든 데이터셋에서 다른 알고리즘을 압도적으로 뛰어나는 정확도를 보이며 인간이 수작업으로 작성한 핵심어를 가장 잘 일치시킨다.

ABSTRACT

This report presents an empirical evaluation of four algorithms for automatically extracting keywords and keyphrases from documents. The four algorithms are compared using five different collections of documents. For each document, we have a target set of keyphrases, which were generated by hand. The target keyphrases were generated for human readers; they were not tailored for any of the four keyphrase extraction algorithms. Each of the algorithms was evaluated by the degree to which the algorithm's keyphrases matched the manually generated keyphrases. The four algorithms were (1) the AutoSummarize feature in Microsoft's Word 97, (2) an algorithm based on Eric Brill's part-of-speech tagger, (3) the Summarize feature in Verity's Search 97, and (4) NRC's Extractor algorithm. For all five document collections, NRC's Extractor yields the best match with the manually generated keyphrases.

연구 동기 및 목표

• 수작업으로 생성된 핵심어와 일치하는 데 있어 네 가지 자동 핵심어 추출 알고리즘의 성능을 평가하는 것.
• 특정 알고리즘에 맞추어 조정하지 않고도 다양한 문서 컬렉션에 걸쳐 알고리즘의 강건성을 평가하는 것.
• 실증적 비교를 바탕으로 가장 효과적인 핵심어 추출 방법을 특정하는 것.
• 수작업으로 정제된 핵심어를 기준으로 한 핵심어 추출의 기준이 되는 벤치마크를 제공하는 것.
• 기존 접근 방식의 강점과 약점을 파악하여 향후 자동 핵심어 추출 시스템 개발에 기여하는 것.

제안 방법

• 다양한 도메인과 텍스트 유형을 반영하는 다섯 가지 독립적인 문서 컬렉션을 수집하였다.
• 각 문서의 기준으로 수작업으로 생성된 핵심어를 사용하였으며, 이를 인간 독자가 별도로 생성하였다.
• 네 가지 핵심어 추출 알고리즘을 적용: Microsoft Word 97의 AutoSummarize, Brill의 품사 태거 기반 방법, Verity Search 97의 Summarize 기능, NRC의 Extractor.
• 수작업으로 생성된 핵심어 집합과의 정밀도와 재현율을 측정하여 알고리즘 성능을 평가하였다.
• 표준 평가 지표를 사용하여 알고리즘 출력 결과와 수작업으로 생성된 핵심어 간의 일치율을 비교하였다.
• 모든 컬렉션 간 분석을 통해 각 알고리즘의 성능 일관성과 일반화 능력을 평가하였다.

실험 결과

연구 질문

• RQ1 네 가지 핵심어 추출 알고리즘이 다양한 문서 컬렉션에서 수작업으로 생성된 핵심어와 얼마나 잘 일치하는가?
• RQ2 어느 알고리즘이 관련 핵심어를 식별하는 데 가장 높은 정밀도와 재현율을 보였는가?
• RQ3 어느 알고리즘의 성능이 다양한 텍스트 도메인이나 문서 유형에 따라 유의미하게 달라지는가?
• RQ4 수작업으로 생성된 핵심어가 자동 핵심어 추출 평가의 신뢰할 수 있는 기준으로서 얼마나 유용한가?
• RQ5 예를 들어 품사 태깅 기반 알고리즘이 더 단순한 히ュ리스틱이나 상용 도구보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• NRC의 Extractor 알고리즘이 다섯 개의 문서 컬렉션 전반에서 수작업으로 생성된 핵심어와 가장 높은 일치율을 기록하였다.
• Microsoft Word 97의 AutoSummarize는 끊임없이 다른 세 알고리즘보다 열등한 성능을 보였다.
• Eric Brill의 품사 태거 기반 알고리즘은 중간 수준의 성능을 보였으며, Word 97보다는 뛰어나지만 NRC의 Extractor에는 뒤지지 않았다.
• Verity Search 97의 Summarize 기능은 Word 97보다는 우수했지만, NRC의 Extractor와 Brill 기반 방법보다는 열등했다.
• 성능 순위는 다섯 개의 문서 컬렉션 전반에서 일관되게 유지되어 평가의 강건성을 입증하였다.
• NRC의 Extractor는 의미적으로 관련성이 높고 인간이 인식한 핵심어를 효과적으로 식별하는 데 뛰어난 능력을 보이며, 언어학적 및 통계적 특징을 효과적으로 활용한 것으로 나타났다.