[논문 리뷰] Coherent Keyphrase Extraction via Web Mining

Peter D. Turney|ArXiv.org|2003. 08. 20.

Advanced Text Analysis Techniques참고 문헌 18인용 수 160

한 줄 요약

이 논문은 웹 마이닝을 활용하여 후보 키페이즈 간의 통계적 연관성을 측정함으로써 Kea 키페이즈 추출 알고리즘을 향상시킨다. 이는 키페이즈의 의미적 일관성을 향상시킨다. 이 방법은 웹 기반 공출현 통계를 사용하여 의미적으로 연결되지 않은 키페이즈를 걸러내어, 재학습 없이 컴퓨터 과학 및 물리학과 같은 다양한 도메인에 일반화되는 더 나은 품질의 출력을 얻는다.

ABSTRACT

Keyphrases are useful for a variety of purposes, including summarizing, indexing, labeling, categorizing, clustering, highlighting, browsing, and searching. The task of automatic keyphrase extraction is to select keyphrases from within the text of a given document. Automatic keyphrase extraction makes it feasible to generate keyphrases for the huge number of documents that do not have manually assigned keyphrases. A limitation of previous keyphrase extraction algorithms is that the selected keyphrases are occasionally incoherent. That is, the majority of the output keyphrases may fit together well, but there may be a minority that appear to be outliers, with no clear semantic relation to the majority or to each other. This paper presents enhancements to the Kea keyphrase extraction algorithm that are designed to increase the coherence of the extracted keyphrases. The approach is to use the degree of statistical association among candidate keyphrases as evidence that they may be semantically related. The statistical association is measured using web mining. Experiments demonstrate that the enhancements improve the quality of the extracted keyphrases. Furthermore, the enhancements are not domain-specific: the algorithm generalizes well when it is trained on one domain (computer science documents) and tested on another (physics documents).

연구 동기 및 목표

• 자동 키페이즈 추출에서 일부 추출된 용어가 다른 용어와 의미적으로 연결되지 않는다는 문제를 해결하기 위해.
• 도메인 특화 학습 데이터에 의존하지 않고도 추출된 키페이즈의 총체적 일관성을 향상시키기 위해.
• 웹 마이닝을 활용하여 후보 키페이즈 간의 의미 관계를 통계적 연관성 측정을 통해 탐지하는 방법을 개발하기 위해.
• 알고리즘이 컴퓨터 과학 및 물리학과 같은 다양한 도메인에 잘 일반화되도록 보장하기 위해.
• 웹 기반의 용어 공출현 증거를 통합하여 Kea 알고리즘을 향상시켜 의미적으로 관련이 없는 키페이즈를 걸러내기 위해.

제안 방법

• 이 방법은 검색 엔진 결과에서 후보 키페이즈의 공출현 통계를 수집하기 위해 웹 마이닝을 사용하여 그들의 통계적 연관성을 측정한다.
• 웹에서의 공출현 빈도를 기반으로 키페이즈 쌍 간의 연관성 측도를 계산하며, 이는 점별 상호정보량(PMI) 또는 유사한 지표를 사용한다.
• 기타 후보들과의 평균 연관성 점수를 바탕으로 후보 키페이즈를 순위 매기고 걸러내며, 의미적으로 연결된 키페이즈를 우선시한다.
• 이 알고리즘은 이 일관성 점수를 Kea 프레임워크에 통합하여, 상호 연관된 용어 그룹을 우선시하는 선택 과정을 수정한다.
• 이 접근은 도메인 독립적이며, 레이블이 붙은 학습 데이터나 언어학적 특징이 아닌 웹 스케일 통계에만 의존한다.
• 최종적으로, 웹 기반 증거를 통해 개별 용어의 관련성과 집단적 일관성을 동시에 극대화하는 키페이즈 집합이 선택된다.

실험 결과

연구 질문

• RQ1 웹 마이닝을 사용하여 자동으로 추출된 키페이즈의 일관성을 효과적으로 향상시킬 수 있는가?
• RQ2 웹 공출현을 통한 키페이즈 간의 통계적 연관성 측정이 출력의 의미적 품질을 향상시키는가?
• RQ3 재학습이나 도메인 특화 튜닝 없이도 개선된 알고리즘이 다양한 도메인에 일반화되는가?
• RQ4 일관성 걸러내기 기능이 포함될 경우 추출된 키페이즈의 정밀도와 관련성에 어떤 영향을 미치는가?
• RQ5 추출된 키페이즈가 의미적으로 일관된 집합을 이룰 정도로 서로 연결되어 있는가, 아니면 무작위이거나 분리된 집합인가?

주요 결과

• 향상된 알고리즘은 의미적으로 관련이 없는 용어를 걸러내어 추출된 키페이즈의 일관성을 크게 향상시킨다.
• 이 방법은 도메인 간에 잘 일반화된다: 컴퓨터 과학 문서에서 학습하고 물리학 문서에서 테스트했을 때도 우수한 성능을 보인다.
• 용어 간 연관성 측정을 위한 웹 마이닝의 사용은 원래 Kea 알고리즘보다 더 의미적으로 일관된 키페이즈 집합을 도출한다.
• 이 접근은 도메인 특화 학습 데이터나 언어학적 자원이 필요 없어 광범위하게 적용 가능하다.
• 실험 결과, 일관성 향상 버전은 더 의미 있고 맥락적으로 관련성이 높은 키페이즈 집합을 생성함을 보여준다.
• 알고리즘은 관련성 높은 키페이즈 선택 정밀도를 유지하면서도 출력에서 이질적 또는 관련 없는 용어의 수를 줄인다.