[논문 리뷰] Keyword and Keyphrase Extraction Using Centrality Measures on Collocation Networks

Shibamouli Lahiri, Sagnik Ray Choudhury외 1명|arXiv (Cornell University)|2014. 01. 25.

Advanced Text Analysis Techniques참고 문헌 48인용 수 52

한 줄 요약

이 논문은 단어와 명사구 병렬망에 대한 중심성 측정법을 사용하여 기반 그래프 기반의 关련어 및 핵심어 추출 방법을 제안한다. 중심성 측정법 중 더 단순한 방법들인 차수와 강도가 외부 어휘 자료를 필요로 하지 않으며 PageRank를 뛰어넘거나 이를 따라잡는 성능을 보이며, 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이 방법은 계산적으로 효율적이며 지식에 의존하지 않아, 키워드 및 핵심어 추출에서 tf-idf 및 기타 비지도 기반 기준선보다 뛰어난 성능을 보인다.

ABSTRACT

Keyword and keyphrase extraction is an important problem in natural language processing, with applications ranging from summarization to semantic search to document clustering. Graph-based approaches to keyword and keyphrase extraction avoid the problem of acquiring a large in-domain training corpus by applying variants of PageRank algorithm on a network of words. Although graph-based approaches are knowledge-lean and easily adoptable in online systems, it remains largely open whether they can benefit from centrality measures other than PageRank. In this paper, we experiment with an array of centrality measures on word and noun phrase collocation networks, and analyze their performance on four benchmark datasets. Not only are there centrality measures that perform as well as or better than PageRank, but they are much simpler (e.g., degree, strength, and neighborhood size). Furthermore, centrality-based methods give results that are competitive with and, in some cases, better than two strong unsupervised baselines.

연구 동기 및 목표

• PageRank 이외의 중심성 측정법이 관련어 및 핵심어 추출 성능을 향상시킬 수 있는지 조사하기.
• 단어 및 명사구 병렬망에서 다양한 중심성 측정법의 효과성 평가하기.
• 보다 단순한 중심성 측정법(예: 차수, 강도)이 더 복잡한 방법들(예: PageRank)과 동일하거나 이를 초월할 수 있는지 판단하기.
• 외부 지식 자료를 활용하지 않고도 tf-idf 등 강력한 비지도 기반 기준선과 그래프 기반 중심성 방법을 비교하기.
• 실시간 관련어 및 핵심어 추출을 위한 경량이며 지식에 영향을 받지 않는 온라인 시스템 설계하기.

제안 방법

• 텍스트를 대상으로 슬라이딩 윈도우를 사용하여 단어 및 명사구 병렬망을 구축하고 공존 관계를 캡처하기.
• 비가중치 및 가중치 그래프 모두에 대해 11종의 중심성 측정법(차수, 강도, PageRank, 가까움, 허브/오디터리티 점수, 이웃 수 등)을 적용하기.
• 공존 빈도를 기반으로 간선이 가중치가 부여된 방향성 그래프를 사용하여 병렬망 강도를 모델링하기.
• 기준 데이터셋에서 표준 정밀도, 재현율, F-스코어 지표를 사용하여 중심성 점수에 따라 용어 및 구절을 순위 매기고 평가하기.
• 비교를 위해 임계값 기반 선택(5%에서 100%까지 5% 간격)을 적용하여 순위 목록 생성하기.
• 다양한 도메인에서의 강력한 평가를 확보하기 위해 여러 데이터셋의 통합 황금 표준(annotation)을 사용하기.

실험 결과

연구 질문

• RQ1 PageRank 이외의 중심성 측정법이 관련어 및 핵심어 추출에서 유사하거나 더 뛰어난 성능을 낼 수 있는가?
• RQ2 보다 단순한 중심성 측정법(예: 차수, 강도)이 더 복잡한 방법들(예: 중간성, 핵심성)보다 성능이 뛰어나지 않는가?
• RQ3 정밀도, 재현율, F-스코어 측면에서 중심성 기반 방법은 tf-idf 기준선과 어떻게 비교되는가?
• RQ4 어떤 종류의 병렬망(단어 대비 명사구)이 다양한 중심성 측정법에서 더 뛰어난 성능을 내는가?
• RQ5 지식에 의존하지 않는 그래프 기반 방법이 외부 어휘 자료 없이도 기존 비지도 기반 기준선을 능가할 수 있는가?

주요 결과

• 차수, 강도 및 이웃 수(1차 순서)의 변종은 네 가지 기준 데이터셋 전반에서 PageRank와 동등하거나 이를 뛰어넘는 성능을 보였다.
• 차수 및 강도 중심성 측정법은 핵심어 추출에서 11개의 황금 표준 annotation 중 9개에서 tf-idf를 능가했으며, NUS 및 ICSI 데이터셋에서 더 높은 F-스코어를 기록했다.
• PageRank는 차수 및 강도와 유사하거나 약간 떨어진 성능을 보였으며, 이는 더 단순한 측정법이 충분하고 더 효율적임을 시사한다.
• 구조적 다양성 지수 및 군집 계수 변종은 가장 낮은 성능을 보이며, 이 맥락에서 유용성이 제한됨을 보여주었다.
• ICSI 및 NUS 데이터셋에서 중심성 기반 방법은 TextRank, SingleRank, ExpandRank 및 KeyCluster를 모두 능가했으며, 강력한 경쟁 우위를 확보했다.
• 외부 어휘 자료 없이도 다양한 데이터셋에서 높은 정밀도와 재현율을 달성하여, tf-idf의 지식에 의존하지 않는 효과적인 대안임을 입증했다.