[논문 리뷰] Simple Unsupervised Keyphrase Extraction using Sentence Embeddings

Kamil Bennani-Smires, Claudiu Musat외 3명|arXiv (Cornell University)|2018. 01. 13.

Advanced Text Analysis Techniques인용 수 4

한 줄 요약

이 논문은 대규모 레이블링된 데이터셋이 필요로 하지 않고, 단일 문서에서 정보성과 다양성을 갖춘 关련 키워드를 추출하는 비지도 키워드 추출 방법인 EmbedRank를 제안한다. 기존의 최첨단 그래프 기반 방법들보다 표준 데이터셋에서 뛰어난 성능을 보이며, 사용자 연구를 통해 다양성을 강조한 키워드가 F-점수 향상 없이도 인간의 선호도를 높이는 것으로 나타났다.

ABSTRACT

Keyphrase extraction is the task of automatically selecting a small set of phrases that best describe a given free text document. Supervised keyphrase extraction requires large amounts of labeled training data and generalizes very poorly outside the domain of the training data. At the same time, unsupervised systems have poor accuracy, and often do not generalize well, as they require the input document to belong to a larger corpus also given as input. Addressing these drawbacks, in this paper, we tackle keyphrase extraction from single documents with EmbedRank: a novel unsupervised method, that leverages sentence embeddings. EmbedRank achieves higher F-scores than graph-based state of the art systems on standard datasets and is suitable for real-time processing of large amounts of Web data. With EmbedRank, we also explicitly increase coverage and diversity among the selected keyphrases by introducing an embedding-based maximal marginal relevance (MMR) for new phrases. A user study including over 200 votes showed that, although reducing the phrases' semantic overlap leads to no gains in F-score, our high diversity selection is preferred by humans.

연구 동기 및 목표

• 큰 레이블링된 데이터셋이 필요로 하며 도메인 간 일반화 능력이 떨어지는 지도 학습 기반 키워드 추출의 한계를 해결하기 위해.
• 대규모 코퍼스에 의존하거나 재현성과 낮은 다양성 문제를 겪는 기존 비지도 방법의 단점을 극복하기 위해.
• 실시간 처리에 적합한 빠르고 확장 가능하며 코퍼스에 의존하지 않는 방법을 개발하기 위해.
• F-점수를 희생시키지 않고도 키워드의 다양성과 사용자 선호도를 향상시키며, F-점수를 유일한 평가 지표로 삼는 것의 부적절함을 도전하기 위해.

제안 방법

• 사전 학습된 문장 임베딩(예: Sent2Vec, Doc2Vec)을 활용해 전체 문서와 후보 키워드를 동일한 벡터 공간에 표현하기 위해.
• 후보 키워드의 임베딩과 문서의 임베딩 간의 의미적 거리를 측정하여 정보성 수준을 계산하기 위해.
• 키워드 선택 과정에서 정보성과 다양성을 균형 잡기 위해 임베딩 기반의 최대 경계 유사도(MMR) 전략을 적용하기 위해.
• 재중복성을 제어하기 위해 λ=0.5로 설정된 매개변수화된 MMR 공식을 사용하여, 이미 선택된 키워드들과 의미적으로 다를 수 있는 관련성이 높은 키워드를 우선시하기 위해.
• 단어 중심의 중심성 기반 과도한 생성을 방지하기 위해 단어 임베딩의 가중합을 이용해 어휘 수준의 점수를 어휘 조합 수준의 점수로 통합하기 위해.
• 외부 코퍼스가 필요로 하지 않고 입력 문서만으로도 작동하는 단순하고 확장 가능한 파이프라인으로 구현하기 위해.

실험 결과

연구 질문

• RQ1 대규모 학습 코퍼스에 의존하지 않고도, 최첨단 그래프 기반 방법들(예: TextRank, SingleRank, WordAttractionRank)보다 더 높은 F-점수를 달성할 수 있는 비지도 키워드 추출 방법이 가능한가?
• RQ2 임베딩 기반 MMR를 통해 재중복성을 명시적으로 제어하면, F-점수에 변화가 없더라도 사용자들이 추출된 키워드를 더 선호하게 되는가?
• RQ3 어휘 수준의 임베딩이 아닌 어휘 조합 수준의 임베딩을 사용할 경우, 키워드 품질과 다양성에 어느 정도 기여하는가?
• RQ4 문장 임베딩 기반의 코퍼스 없는 방법이 웹 스케일 텍스트 데이터의 실시간 처리에 대해 빠르고 효과적인가?
• RQ5 사용자 선호도가 다양하고 중복되지 않는 출력를 선호하는 상황에서, F-점수가 키워드 품질 평가에 충분하거나 신뢰할 만한 평가 지표인가?

주요 결과

• EmbedRank는 표준 키워드 추출 데이터셋 중 3개 중 2개에서 최첨단 그래프 기반 방법들(예: TextRank, SingleRank, WordAttractionRank)보다 높은 F-점수를 기록했다.
• 214명의 참여자가 참가한 사용자 연구 결과, EmbedRank++(λ=0.5)로 추출한 키워드가 EmbedRank(λ=1)보다 70%의 참여자에게 더 선호되었으며, 이는 다양성에 대한 강한 인간 선호도를 시사한다.
• 사용자 선호도가 다양성에 기반함에도 불구하고 EmbedRank++는 측정 가능한 F-점수 감소를 보였으며, 이는 자동 평가 지표와 인간 판단 간의 괴리를 시사한다.
• 이 방법은 확장 가능하고 효율적이며, Sent2Vec를 통해 빠른 추론이 가능해 웹 및 소셜 미디어 데이터의 대용량 실시간 처리에 적합하다.
• EmbedRank++는 금본 키워드 목록에 포함되지 않더라도 의미적으로 다를 수 있는 어휘 조합을 선택함으로써 재중복성을 줄였으며, 이는 F-점수가 의미적으로 동일한데도 비일치한 키워드에 대해 페널티를 주는 위험을 드러낸다.
• 본 연구는 F-점수가 키워드 추출의 주요 평가 지표로 충분하거나 신뢰할 수 있는지에 대한 심각한 질문을 제기하며, 인간 선호도를 반영하는 새로운 평가 방법론의 필요성을 주장한다.