[논문 리뷰] Supervised Topical Key Phrase Extraction of News Stories using Crowdsourcing, Light Filtering and Co-reference Normalization

Luís Marujo, Anatole Gershman외 3명|arXiv (Cornell University)|2013. 06. 20.

Advanced Text Analysis Techniques참고 문헌 1인용 수 36

한 줄 요약

이 논문은 뉴스 기사에서 주제어구를 추출하기 위해 감시 학습 방식을 제안하며, 인과적 애너테이션, 경량 필터링을 통한 부가적 내용 제거, 공칭 엔티티 통합을 위한 공참조 정규화를 활용한다. 얕은 의미적 특징, 어법 신호, 뉴스 카테고리 등을 활용함으로써 이 방법은 nDCG를 78.47%로 크게 향상시켰으며, 기준 모델 대비 9.54%포인트 높은 성능을 기록한다.

ABSTRACT

Fast and effective automated indexing is critical for search and personalized services. Key phrases that consist of one or more words and represent the main concepts of the document are often used for the purpose of indexing. In this paper, we investigate the use of additional semantic features and pre-processing steps to improve automatic key phrase extraction. These features include the use of signal words and freebase categories. Some of these features lead to significant improvements in the accuracy of the results. We also experimented with 2 forms of document pre-processing that we call light filtering and co-reference normalization. Light filtering removes sentences from the document, which are judged peripheral to its main content. Co-reference normalization unifies several written forms of the same named entity into a unique form. We also needed a "Gold Standard" - a set of labeled documents for training and evaluation. While the subjective nature of key phrase selection precludes a true "Gold Standard", we used Amazon's Mechanical Turk service to obtain a useful approximation. Our data indicates that the biggest improvements in performance were due to shallow semantic features, news categories, and rhetorical signals (nDCG 78.47% vs. 68.93%). The inclusion of deeper semantic features such as Freebase sub-categories was not beneficial by itself, but in combination with pre-processing, did cause slight improvements in the nDCG scores.

연구 동기 및 목표

• 문서의 의미적 및 구조적 특징을 통합함으로써 뉴스 색인을 위한 자동 주제어구 추출을 향상시키는 것.
• 주제어구 선택의 주관성 문제를 해결하기 위해 크라우드소싱 애너테이션을 실제 골드 표준의 실용적 근사치로 사용하는 것.
• 경량 필터링 및 공참조 정규화와 같은 문서 사전 처리 기법을 통해 성능 향상에 기여하는 것.
• 얕은 의미적 특징과 깊은 의미적 특징이 주제어구 추출 정확도에 미치는 영향을 평가하는 것.
• 신호어, 프리베이스 카테고리, 사전 처리 기법을 통합한 감시 학습 프레임워크의 효과성을 입증하는 것.

제안 방법

• 학습 및 평가를 위한 실용적 골드 표준을 확보하기 위해 아마존 메카니컬 터크를 활용해 크라우드소싱 주제어구 애너테이션을 수집하였다.
• 주요 내용과 관련성이 낮다고 판단되는 문장을 제거하기 위해 경량 필터링을 적용하여 핵심 주제에 집중도를 높였다.
• 동일한 명칭 엔티티의 다양한 표면 형태를 하나의 표준 형태로 통합하기 위해 공참조 정규화를 수행하였다.
• 어법 신호(예: '그러나', '따라서') 및 뉴스 카테고리와 같은 얕은 의미적 특징을 통합하여 주제어구 탐지에 기여하였다.
• 프리베이스 하위 카테고리를 깊은 의미적 특징으로 통합하였지만, 사전 처리와 조합했을 때만 약간의 성능 향상이 있었다.
• 이러한 특징들과 사전 처리된 텍스트를 기반으로 감시 학습 모델을 훈련시켜 높은 정밀도로 주제어구를 예측하였다.

실험 결과

연구 질문

• RQ1 크라우드소싱 애너테이션이 뉴스 기사의 주제어구 추출에 대해 골드 표준에 대한 신뢰할 수 있는 근사치를 제공할 수 있는가?
• RQ2 부가적 문장에 대한 경량 필터링이 주제어구 추출 성능에 얼마나 기여하는가?
• RQ3 공참조 정규화가 명칭 엔티티 언급을 통합하고 추출 정확도를 향상시키는 데 얼마나 효과적인가?
• RQ4 어법 신호 및 뉴스 카테고리와 같은 얕은 의미적 특징이 nDCG 점수에 유의미한 영향을 미치는가?
• RQ5 사전 처리와 조합했을 때, 프리베이스 하위 카테고리와 같은 깊은 의미적 특징이 측정 가능한 성능 향상 효과를 내는가?

주요 결과

• 얕은 의미적 특징인 어법 신호 및 뉴스 카테고리의 통합으로 가장 큰 성능 향상이 발생하여, nDCG가 68.93%에서 78.47%로 상승하였다.
• 경량 필터링과 공참조 정규화는 각각 노이즈 감소 및 엔티티 일관성 향상으로 인해 모델 성능 향상에 기여하였다.
• 프리베이스 하위 카테고리와 같은 깊은 의미적 특징은 단독으로는 성능 향상이 없었지만, 사전 처리와 조합했을 때 약간의 성능 향상이 있었다.
• 전반적인 시스템은 평가 세트에서 최신 기술 수준의 nDCG 78.47%를 달성하여 기준 모델을 크게 앞서갔다.
• 주제어구 선택의 주관성에도 불구하고 크라우드소싱은 실용적이고 확장 가능한 골드 표준을 생성하는 데 효과적이었다.
• 결과적으로 구조적 사전 처리와 의미적 특징을 통합함으로써 뉴스 문서에서 강력하고 정확한 주제어구 추출이 가능함을 입증하였다.