[논문 리뷰] Keywords lie far from the mean of all words in local vector space

Eirini Papagiannopoulou, Grigorios Tsoumakas외 1명|arXiv (Cornell University)|2020. 08. 21.

Advanced Text Analysis Techniques참고 문헌 47인용 수 4

한 줄 요약

이 논문은 로컬 단어 벡터 표현을 사용하여 문서의 단어 분포를 모델링하고, 후보 키워드를 그 분포의 중심(평균 벡터)으로부터의 거리와 첫 번째 등장 위치에 기반해 순위를 매기는 비지도 키워드 추출 방법을 제안한다. 키워드들은 비키워드 단어들의 평균에서 멀리 떨어져 있음을 보여주며, 코사인 유사도 대신 유클리드 거리와 마할라노비스 거리를 사용하여 최신 기술(SOTA) 비지도 방법들을 능가한다.

ABSTRACT

Keyword extraction is an important document process that aims at finding a small set of terms that concisely describe a document's topics. The most popular state-of-the-art unsupervised approaches belong to the family of the graph-based methods that build a graph-of-words and use various centrality measures to score the nodes (candidate keywords). In this work, we follow a different path to detect the keywords from a text document by modeling the main distribution of the document's words using local word vector representations. Then, we rank the candidates based on their position in the text and the distance between the corresponding local vectors and the main distribution's center. We confirm the high performance of our approach compared to strong baselines and state-of-the-art unsupervised keyword extraction methods, through an extended experimental study, investigating the properties of the local representations.

연구 동기 및 목표

• 외부 도구나 사전 학습된 임bedding에 의존하지 않는 비지도 키워드 추출 방법을 개발하는 것.
• 로컬 단어 벡터 표현이 문서의 비키워드 단어들의 의미 중심을 효과적으로 모델링할 수 있는지 조사하는 것.
• 유클리드 거리와 마할라노비스 거리 같은 거리 측도가 비키워드와 키워드를 구분하는 데 코사인 유사도보다 효과적인지 평가하는 것.
• 키워드가 로컬 벡터 공간에서 단어 분포의 주요 중심에서 통계적으로 멀리 떨어져 있음을 입증하는 것.
• 강건한 통계 및 위치 특징이 키워드 순위 매기기 성능에 미치는 영향을 탐색하는 것.

제안 방법

• 각 단어 주변의 슬라이딩 윈도우를 사용하여 로컬 단어 벡터 표현을 구축하여 공현 패턴을 캡처하는 것.
• 문서에 포함된 모든 단어의 평균 벡터(분포 중심)를 계산하여 비키워드의 주요 의미적 집합을 나타내는 것.
• 유클리드 또는 마할라노비스 거리와 텍스트 내 첫 번째 등장 위치를 기반으로 복합 점수를 사용해 각 후보 키워드를 점수화하는 것.
• 벡터 분포의 공분산 구조를 고려하기 위해 마할라노비스 거리를 사용하여 이방성(키워드)을 더 잘 식별하는 것.
• 중심과 공분산 행렬을 추정할 때 강건한 추정기(예: MCD)를 적용하여 이상치에 대한 민감도를 줄이는 것.
• 복합 점수를 기반으로 키워드를 순위 매기며, 높은 값일수록 더 높은 관련성을 의미한다.

실험 결과

연구 질문

• RQ1 로컬 벡터 공간에서 문서의 키워드는 모든 단어 벡터의 평균에서 멀리 떨어져 있는 경향이 있는가?
• RQ2 윈도우 내 공현 기반의 간단한 로컬 벡터 표현이 GloVe와 같은 사전 학습된 임베딩과 동일한 성능을 낼 수 있는가?
• RQ3 벡터 크기나 공분산(마할라노비스 거리로)을 통합하면 코사인 기반 방법 대비 키워드 검출 성능이 향상되는가?
• RQ4 첫 번째 등장 위치와 벡터 거리 간의 상호작용이 키워드 순위 매기기 성능을 향상시키는가?
• RQ5 강건한 통계 기법이 분포 중심 추정 및 전체 키워드 추출 성능 향상에 기여하는가?

주요 결과

• 키워드들은 로컬 벡터 공간에서 모든 단어의 평균 벡터로부터 일관되게 멀리 떨어져 있으며, 이는 본 방법의 핵심 통찰을 뒷받침한다.
• Article I에서 제안된 방법 LV b는 상위 15개 결과 내에서 6개의 키워드를 모두 검색했으며, LV 및 FWN 기준선을 능가했다.
• Article II에서는 LV b가 상위 15개 내에서 50%의 키워드를 검색하지 못했지만, 전체 LV 방법은 조기 등장과 높은 거리 점수 덕분에 키워드 'dynamic'을 성공적으로 검색했다.
• 윈도우 내 공현 기반의 로컬 벡터는 사전 학습된 GloVe 임베딩과 동등하거나 이를 초월하는 성능을 낼 수 있는 충분한 통계적 정보를 포함한다.
• 마할라노비스 거리 사용은 코사인 유사도 대비 성능 향상에 크게 기여하며, 특히 키워드 벡터의 특이한 행동을 잘 포착한다.
• 중심과 공분산 행렬의 강건한 추정은 특히 노이즈가 많거나 이상치가 많은 분포에서 안정성과 성능 향상에 기여한다.