[논문 리뷰] Measuring Word Significance using Distributed Representations of Words

Adriaan M. J. Schakel, Benjamin J. Wilson|arXiv (Cornell University)|2015. 08. 10.

Natural Language Processing Techniques참고 문헌 11인용 수 46

한 줄 요약

이 논문은 텍스트 코퍼스에서 단어의 중요도를 측정하기 위해 word2vec 벡터의 L2 노름(길이)과 어근 빈도를 조합하는 방법을 제안한다. 긴 벡터는 더 많은 맥락적 특이성과 의미를 지닌 단어—특히 내용어—와 관련되어 있으며, 짧은 벡터는 기능어 주변에 군집된다. 이는 두 차원의 시각화를 가능하게 하여 중요도 순으로 단어를 정렬하며, 의미적 관련성과 해석 가능성은 유지하면서 t-SNE의 대안이 된다.

ABSTRACT

Distributed representations of words as real-valued vectors in a relatively low-dimensional space aim at extracting syntactic and semantic features from large text corpora. A recently introduced neural network, named word2vec (Mikolov et al., 2013a; Mikolov et al., 2013b), was shown to encode semantic information in the direction of the word vectors. In this brief report, it is proposed to use the length of the vectors, together with the term frequency, as measure of word significance in a corpus. Experimental evidence using a domain-specific corpus of abstracts is presented to support this proposal. A useful visualization technique for text corpora emerges, where words are mapped onto a two-dimensional plane and automatically ranked by significance.

연구 동기 및 목표

• 어근 빈도만으로는 기능어와 내용어를 혼동하므로 의미 있는 단어를 식별하는 데 한계가 있음을 해결하기 위해.
• 분산된 단어 표현의 크기(L2 노름)가 방향성 외에도 의미적 중요성을 지닌다는지 탐색하기 위해.
• 유사성 기반 방법과는 다름없이 중요도 순으로 정렬된 두 차원의 시각화 기법을 개발하기 위해.
• 제안된 방법을 t-SNE와 비교하여 의미적 해석 가능성과 중요도 기반 순서의 우수성을 강조하기 위해.
• 과학 초록 코퍼스(hep-th arXiv 논문)와 같은 도메인 특화 코퍼스에서 방법을 검증하기 위해.

제안 방법

• hep-th arXiv 섹션의 29,000개 과학 초록 코퍼스에서 word2vec을 훈련시어 분산된 단어 표현을 생성한다.
• 각 단어의 벡터 표현에 대해 L2 노름(벡터 길이)을 계산하여 맥락적 특이성의 척도로 사용한다.
• 벡터 길이와 어근 빈도(TF)를 조합하여 각 단어의 중요도 점수를 구성한다.
• 벡터 길이를 y축, 어근 빈도를 x축으로 사용하여 전체 어휘를 산점도로 시각화함으로써 중요도 기반 정렬을 가능하게 한다.
• POS 태깅(Stanford NLP)을 사용하여 단어를 품사 유형으로 분류하고, 다양한 어휘 유형 간 벡터 길이 분포를 분석한다.
• 제안된 시각화 기법을 t-SNE와 비교하여, 중요도 기반 순서가 의미 해석 가능성 유지에 기여한다는 점을 강조한다.

실험 결과

연구 질문

• RQ1 word2vec 벡터의 L2 노름이 코퍼스 내 단어 중요도에 대한 신뢰할 수 있는 대체 척도가 될 수 있는가?
• RQ2 벡터 길이가 단어 유형(예: 내용어 대비 기능어)과 어근 빈도와 어떻게 상관관계가 있는가?
• RQ3 벡터 길이를 어근 빈도와 조합하면 어근 빈도만으로는 식별하기 어려운 의미적 관련성 높은 단어를 더 잘 식별할 수 있는가?
• RQ4 v-TF 산점도는 t-SNE와 같은 유사성 기반 방법과는 다름없이 효과적이고 해석 가능한 텍스트 코퍼스 시각화 도구로 기능할 수 있는가?
• RQ5 기타 단어 표현 모델(GloVe, log-bilinear 등) 역시 벡터 크기에 중요도 정보를 내재하고 있는가?

주요 결과

• 높은 벡터 길이와 중간에서 높은 어근 빈도를 가지는 단어는 주로 명사와 형용사와 같은 내용어이며, 맥락적 특이성이 높다는 것을 시사한다.
• 기능어(예: 전치사, 대명사)는 높은 빈도일지라도 일관되게 짧은 벡터 길이를 가지며, 이는 낮은 의미적 중요성을 확인한다.
• 맥락적으로 특이한 단어인 고유명사들은 유사 빈도에서 기능어보다 더 긴 벡터 길이를 가지며, v-TF 산점도에서 명확한 분리가 가능하다.
• 동사와 부사의 경우 낮은 빈도에서는 기능어와 겹치지만, 빈도가 높아지면 분리되는 중간 수준의 벡터 길이를 보인다.
• v-TF 산점도는 의미 있고 해석 가능한 시각화를 제공하며, 단어들이 중요도 순으로 자연스럽게 정렬된다. 반면 t-SNE는 중요도보다 의미 유사성을 우선시하므로 이와 다르다.
• 유사한 어근 빈도를 가진 단어들 사이에서 의미적으로 풍부한 단어와 기능어를 효과적으로 구분할 수 있었으며, 이는 벡터 길이가 중요도 측정 척도로 사용될 수 있음을 검증한다.