[논문 리뷰] EmbedRank: Unsupervised Keyphrase Extraction using Sentence Embeddings.

Kamil Bennani-Smires, Claudiu Musat외 3명|arXiv (Cornell University)|2018. 01. 13.

Advanced Text Analysis Techniques참고 문헌 20인용 수 20

한 줄 요약

이 논문은 문장 임베딩을 사용하여 전체 문서 임베딩에 가장 가까운 의미적 표현을 가진 어휘를 식별하는 비지도 키워드 추출 방법인 EmbedRank를 제안한다. 이는 기존 그래프 기반 최신 기법들보다 높은 F-스코어를 달성하면서도 훨씬 더 빠르고 단순하다. 또한 임베딩 기반 MMR 방법을 활용해 다양성을 더욱 향상시켰으며, F-스코어 향상 없이도 사용자가 선호한다.

ABSTRACT

Keyphrase extraction is the task of automatically selecting a small set of phrases that best describe a given free text document. Keyphrases can be used for indexing, searching, aggregating and summarizing text documents, serving many automatic as well as human-facing use cases. Existing supervised systems for keyphrase extraction require large amounts of labeled training data and generalize very poorly outside the domain of the training data. At the same time, unsupervised systems found in the literature have poor accuracy, and often do not generalize well, as they require the input document to belong to a larger corpus also given as input. Furthermore, both supervised and unsupervised methods are often too slow for real-time scenarios and suffer from over-generation. Addressing these drawbacks, in this paper, we introduce an unsupervised method for keyphrase extraction from single documents that leverages sentence embeddings. By selecting phrases whose semantic embeddings are close to the embeddings of the whole document, we are able to separate the best candidate phrases from the rest. We show that our embedding-based method is not only simpler, but also more effective than graph-based state of the art systems, achieving higher F-scores on standard datasets. Simplicity is a significant advantage, especially when processing large amounts of documents from the Web, resulting in considerable speed gains. Moreover, we describe how to increase coverage and diversity among the selected keyphrases by introducing an embedding-based maximal marginal relevance (MMR) for new phrases. A user study including over 200 votes showed that, although reducing the phrase semantic overlap leads to no gains in terms of F-score, our diversity enriched selection is preferred by humans.

연구 동기 및 목표

• 감독 학습 기반 키워드 추출 시스템의 한계를 해결하기 위해, 대규모 레이블링된 데이터셋이 필요로 하며 도메인 간 일반화 능력이 떨어진다.
• 기존 비지도 방법들이 대규모 외부 코퍼스에 의존함으로써 일반화 능력이 떨어지고 계산 비용이 높은 문제를 해결하기 위해.
• 대규모 웹 문서 처리에 적합한 더 빠르고 단순하며 더 효과적인 비지도 키워드 추출 방법을 개발하기 위해.
• 추출 정확도를 훼손하지 않으면서도 키워드 커버리지와 다양성을 향상시키기 위해.

제안 방법

• 해당 방법은 입력 문서에 포함된 모든 문장 임베딩의 평균을 취하여 문서 수준의 문장 임베딩을 계산한다.
• 후보 키워드들은 사전에 학습된 문장 인코더를 사용해 임베딩되며, 문서 임베딩와의 의미적 유사도는 코사인 유사도를 통해 계산된다.
• 문서 임베딩와의 유사도 기반으로 상위 랭크된 어휘들이 키워드로 선정되며, 이는 비지도 추출 메커니즘의 핵심이 된다.
• 선택된 어휘들 간의 의미적 중복을 줄이고 다양성을 향상시키기 위해 임베딩 기반 최대 경계 유사도(MMR) 전략을 적용한다.
• MMR 목적 함수는 관련성(문서 임베딩와의 유사도)과 다양성(이미 선정된 어휘들과의 최소 유사도)을 모두 고려한다.
• 이 방법은 효율적이고 확장 가능하도록 설계되어 대용량 웹 문서의 실시간 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 문장 임베딩 기반 비지도 키워드 추출 방법이 기존 그래프 기반 최신 기법들보다 F-스코어와 효율성 측면에서 뛰어나게 되는가?
• RQ2 레이블링 데이터나 외부 코퍼스 없이도, 도메인 외부 문서에 적용했을 때 성능이 어떻게 변하는가?
• RQ3 임베딩 기반 MMR를 통해 다양성을 도입했을 때, F-스코어와 같은 표준 평가 지표는 그대로 유지하면서도 사용자 선호도가 얼마나 향상되는가?
• RQ4 레이블링된 학습 데이터나 대규모 기준 코퍼스에 접근하지 않더라도 높은 품질의 키워드 추출을 달성할 수 있는가?

주요 결과

• EmbedRank는 표준 벤치마크 데이터셋에서 기존 그래프 기반 최신 비지도 키워드 추출 기법들보다 더 높은 F-스코어를 달성한다.
• 기존 방법들보다 훨씬 더 빠르고 단순하여 실시간 및 대규모 문서 처리에 적합하다.
• 임베딩 기반 MMR를 통한 다양성 강화는 F-스코어 향상에는 기여하지 않지만, 200표 이상의 인간 평가에서 사용자 선호도가 높게 나타났다.
• 레이블링 데이터나 외부 코퍼스에 접근하지 않아도 도메인 간 일반화 능력이 뛰어나며, 강력한 제로샷 성능을 보여준다.