[논문 리뷰] Learning Feature Representations for Keyphrase Extraction

Corina Florescu, Wei Jin|arXiv (Cornell University)|2018. 01. 05.

Advanced Text Analysis Techniques인용 수 7

한 줄 요약

이 논문은 문서를 단어 그래프로 표현하고, 편향된 랜덤 워크를 통해 어휘 표현을 학습하는 지도 학습 기반의 키워드 추출 모델 SurfKE를 제안한다. 이로 인해 합성 데이터셋에서 최신 기준 성능인 F1 점수 0.260을 기록하며, PositionRank 및 Maui와 같은 강력한 베이스라인보다 각각 정밀도에서 15.18%, 8.91% 향상되었다.

ABSTRACT

In supervised approaches for keyphrase extraction, a candidate phrase is encoded with a set of hand-crafted features and machine learning algorithms are trained to discriminate keyphrases from non-keyphrases. Although the manually-designed features have shown to work well in practice, feature engineering is a difficult process that requires expert knowledge and normally does not generalize well. In this paper, we present SurfKE, a feature learning framework that exploits the text itself to automatically discover patterns that keyphrases exhibit. Our model represents the document as a graph and automatically learns feature representation of phrases. The proposed model obtains remarkable improvements in performance over strong baselines.

연구 동기 및 목표

• 수동으로 설계된 특징의 한계를 해결하기 위해 전문 지식이 필요로 하고 일반화 능력이 떨어지는 키워드 추출 기법의 문제점을 해결한다.
• 수동 특징 설계에 의존하지 않고 텍스트의 구조적 패턴에서 정보성 있고 데이터 기반의 특징 표현을 자동으로 학습한다.
• 단어 그래프의 구조적 특성과 편향된 랜덤 워크를 통한 분산형 노드 표현 학습을 통해 키워드 추출 성능을 향상시킨다.
• 그래프 구조를 가진 텍스트에서 자가 발견한 표현이 전통적인 수동 설계 특징보다 키워드 분류 성능에서 뛰어나지 않는지 평가한다.

제안 방법

• 모델은 문장에서 품사 태깅 후 내용어로 구성된 정점과, 윈도우 크기 w 내에서 동시 출현하는 단어들 간에 연결된 간선을 갖는 무방향 단어 그래프를 구성한다.
• 간선의 가중치는 윈도우 내 단어 쌍의 공현 빈도로 정의되며, 국소적인 문법적 및 의미적 관계를 반영한다.
• 편향된 랜덤 워크 전략을 사용하여 노드 시퀀스를 생성하며, 전이 확률이 높은 간선을 우선적으로 선택함으로써 주목할 만한 단어 이웃 영역을 탐색한다.
• 스킵그램 방식의 모델을 사용하여 랜덤 워크 시퀀스에서 노드 표현을 학습하며, 각 단어를 저차원 공간 내 d차원 벡터로 매핑한다.
• 다중어절 후보 키워드의 구성 어순 벡터를 평균하여 어휘 표현을 형성한다.
• 이러한 학습된 표현을 사용하여 가우시안 나이브 베이즈 분류기가 후보 어휘를 키워드 또는 비키워드로 순위 매기고 분류한다.

실험 결과

연구 질문

• RQ1 수동 특징 설계 없이도 그래프 기반의 텍스트 표현이 키워드와 비키워드를 구분하는 의미 있는 패턴을 자동으로 발견할 수 있는가?
• RQ2 단어 그래프에서 편향된 랜덤 워크를 통해 분산 표현을 학습하는 것이 기존의 수동 설계 특징보다 더 나은 키워드 추출 성능을 낼 수 있는가?
• RQ3 다양한 도메인에서 제안된 모델의 성능이 강력한 지도 학습 및 비지도 학습 기반 베이스라인과 비교해 어떻게 나타나는가?
• RQ4 학습된 표현이 문서의 주요 주제를 반영하는 중심적인 용어를 어느 정도 잘 포착하고 있는가?

주요 결과

• SurfKE는 합성 데이터셋에서 F1 점수 0.260을 기록하며, 가장 우수한 베이스라인인 PositionRank(0.240)를 뛰어넘었다.
• 모델은 KEA(0.146) 대비 50.68% 향상된 정밀도, KPMiner(0.165) 대비 33.33%, Maui(0.191) 대비 15.18%, PositionRank(0.202) 대비 8.91% 향상된 정밀도를 기록했다.
• SurfKE의 리콜은 0.390으로, 모든 베이스라인을 초월하여 관련 키워드를 효과적으로 식별함을 시사한다.
• 결과는 자가 발견한 그래프 기반 표현이 키워드 분류에 있어 수동 설계 특징보다 더 효과적임을 입증한다.
• 모델은 그래프의 구조적 특성을 통해 중심 용어를 성공적으로 포착하였으며, DUC, Inspec, PubMed의 다양한 문서 유형에서의 성능 향상으로 이를 입증하였다.