[논문 리뷰] Learning to Extract Keyphrases from Text

Peter D. Turney|ArXiv.org|2002. 12. 08.

Advanced Text Analysis Techniques참고 문헌 28인용 수 280

한 줄 요약

이 논문은 일반적인 학습 알고리즘(C4.5)과 상용 도구(Word 97, Search 97)보다 키워드 추출 작업에서 뛰어난 성능을 보이는 특화된 알고리즘인 GenEx를 사용하여 텍스트에서 키워드를 자동으로 추출하는 지도 학습 접근법을 제안한다. 이 연구는 키워드 추출에 특화된 학습 기반 방법이 비학습 또는 즉석 사용 가능한 솔루션보다 정확도를 크게 향상시킴을 입증한다.

ABSTRACT

Many academic journals ask their authors to provide a list of about five to fifteen key words, to appear on the first page of each article. Since these key words are often phrases of two or more words, we prefer to call them keyphrases. There is a surprisingly wide variety of tasks for which keyphrases are useful, as we discuss in this paper. Recent commercial software, such as Microsoft's Word 97 and Verity's Search 97, includes algorithms that automatically extract keyphrases from documents. In this paper, we approach the problem of automatically extracting keyphrases from text as a supervised learning task. We treat a document as a set of phrases, which the learning algorithm must learn to classify as positive or negative examples of keyphrases. Our first set of experiments applies the C4.5 decision tree induction algorithm to this learning task. The second set of experiments applies the GenEx algorithm to the task. We developed the GenEx algorithm specifically for this task. The third set of experiments examines the performance of GenEx on the task of metadata generation, relative to the performance of Microsoft's Word 97. The fourth and final set of experiments investigates the performance of GenEx on the task of highlighting, relative to Verity's Search 97. The experimental results support the claim that a specialized learning algorithm (GenEx) can generate better keyphrases than a general-purpose learning algorithm (C4.5) and the non-learning algorithms that are used in commercial software (Word 97 and Search 97).

연구 동기 및 목표

• 학술 및 상업 문서에 대해 정확한 키워드를 자동으로 생성하는 데 도전하는 것.
• 휴리스틱 기반 또는 비학습 기반 방법을 초월해 지도 기반 기계 학습이 키워드 추출을 향상시킬 수 있는지 조사하는 것.
• 특히 키워드 추출을 위해 설계된 맞춤형 알고리즘(GenEx)의 효과성을 평가하는 것.
• 메타데이터 생성 및 강조 기능 작업에서 Microsoft Word 97 및 Verity Search 97와 같은 기존 도구와 GenEx의 성능을 비교하는 것.
• 분야 특화 학습 알고리즘이 일반 목적 또는 상용 대안보다 더 나은 결과를 낳는다는 것을 입증하는 것.

제안 방법

• 문서가 후보 어휘구로 파싱된 후, 지도 학습을 통해 키워드(긍정) 또는 비키워드(부정)로 분류된다.
• 기본 성능 평가를 위해 C4.5 결정 트리 알고리즘이 키워드 분류 작업에 적용된다.
• GenEx 알고리즘은 키워드 추출을 위해 특별히 설계되었으며, 어휘의 관련성과 정보성에 맞는 특징을 포함한다.
• 특징 공학에는 어휘적, 문법적, 분포 통계적 특징이 포함되어 키워드와 비키워드를 구분한다.
• 학습 세트로 수작업 레이블이 부여된 키워드를 사용하여 키워드와 비키워드 간의 분류 경계를 학습한다.
• 정밀도, 재현율, F-측정치와 같은 정보 검색 분야에서 표준으로 사용되는 지표를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 비학습 기반 상용 도구와 비교해 지도 학습 접근법이 키워드 추출 정확도를 크게 향상시킬 수 있는가?
• RQ2 특화된 학습 알고리즘(GenEx)이 일반 목적 학습 도구(C4.5)보다 키워드 추출에서 뛰어난 성능을 보일 수 있는가?
• RQ3 메타데이터 생성 및 문서 강조 기능과 같은 실제 응용 분야에서 GenEx의 성능은 어떠한가?
• RQ4 어떤 특징이 특정 문서에서 어휘구가 키워드일 가능성을 가장 잘 예측하는가?
• RQ5 학습 기반 방법은 키워드 할당에 있어 인간의 노력의 어느 정도를 줄일 수 있는가?

주요 결과

• GenEx는 C4.5 결정 트리 알고리즘보다 키워드 추출에서 뛰어난 성능을 보이며, 알고리즘 특화의 이점을 입증한다.
• 메타데이터 생성 작업에서 GenEx는 Microsoft Word 97보다 높은 정밀도와 재현율을 확보했다.
• 강조 기능 작업에서 GenEx는 Verity의 Search 97를 능가하여 키워드의 관련성 탐지 능력이 뛰어나다는 것을 보여주었다.
• GenEx에서 사용된 분야 특화 특징은 일반 특징 세트에 비해 분류 정확도를 크게 향상시켰다.
• 결과는 학습 기반 시스템이 비학습 기반 상용 소프트웨어보다 키워드 추출에서 뛰어난 성능을 낼 수 있음을 확인한다.
• 이 연구는 키워드 추출에 특화된 알고리즘 설계가 측정 가능한 성능 향상을 이끌 수 있음을 입증한다.