[논문 리뷰] That's sick dude!: Automatic identification of word sense change across different timescales

Sunny Mitra, Ritwik Mitra외 4명|arXiv (Cornell University)|2014. 05. 17.

Natural Language Processing Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 역사적 텍스트 데이터에서 명사의 어휘의미 변화를 탐지하기 위해 시간에 따라 변화하는 분포적 동의어망 네트워크를 사용하는 비지도 학습 방법을 제시한다. 서로 다른 시점에서 어휘의미를 군집화하고 비교함으로써 의미의 출현, 분열, 융합, 소멸을 식별하며, 새로운 의미를 탐지하는 데 60.4%의 정확도를 달성하고, WordNet과의 일치율이 44–46%에 이르며, 새로운, 분열되거나 융합된 의미를 탐지하는 데 성공한다.

ABSTRACT

In this paper, we propose an unsupervised method to identify noun sense changes based on rigorous analysis of time-varying text data available in the form of millions of digitized books. We construct distributional thesauri based networks from data at different time points and cluster each of them separately to obtain word-centric sense clusters corresponding to the different time points. Subsequently, we compare these sense clusters of two different time points to find if (i) there is birth of a new sense or (ii) if an older sense has got split into more than one sense or (iii) if a newer sense has been formed from the joining of older senses or (iv) if a particular sense has died. We conduct a thorough evaluation of the proposed methodology both manually as well as through comparison with WordNet. Manual evaluation indicates that the algorithm could correctly identify 60.4% birth cases from a set of 48 randomly picked samples and 57% split/join cases from a set of 21 randomly picked samples. Remarkably, in 44% cases the birth of a novel sense is attested by WordNet, while in 46% cases and 43% cases split and join are respectively confirmed by WordNet. Our approach can be applied for lexicography, as well as for applications like word sense disambiguation or semantic search.

연구 동기 및 목표

• 대규모 디지털 텍스트 코퍼스에서 어휘의미의 시간적 변화를 탐지하기 위한 비지도 학습 방법을 개발하는 것.
• 시간에 따라 특정한 분포적 동의어망 네트워크를 구성함으로써 어휘의미의 변화 과정을 모델링하는 것.
• 의미 변화의 네 가지 유형을 식별하는 것: 새로운 의미의 출현, 이전 의미의 분열, 다수의 의미 융합, 의미의 소멸.
• 수작업 평가와 함께 WordNet 및 슬랭어 사전과의 비교를 통해 방법의 성능을 평가하는 것.
• 어휘학적 코퍼스 정제를 지원하고, 어휘의미 해석 및 의미 기반 검색과 같은 NLP 응용 프로그램을 향상시키는 것.

제안 방법

• 8개의 서로 다른 시간 창을 기준으로 디지털화된 책에서 시간에 따라 변화하는 공현성 네트워크를 구축한다.
• 각 시간 창에서 단어의 공현 패턴을 사용하여 분포적 동의어망 네트워크를 구성한다.
• 각 시간에 특화된 네트워크에 그래프 군집화를 적용하여 단어 중심의 의미 군집을 추출한다.
• 두 시점 간의 의미 군집을 비교하여 의미 변화(출현, 분열, 융합, 소멸)를 탐지한다.
• 후보 의미 변화의 외부 검증 자료로 WordNet과 슬랭어 사전을 사용한다.
• 수작업 평가를 통해 무작위로 샘플링된 사례를 분석하여 탐지 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 비지도 학습 방법이 역사적 텍스트 코퍼스에서 새로운 어휘의미의 출현을 얼마나 정확하게 탐지할 수 있는가?
• RQ2 분열, 융합, 소멸 등의 탐지된 의미 변화가 WordNet과 같은 기존 어휘 자료와 얼마나 일치하는가?
• RQ3 이 방법은 슬랭어 사전과 같은 비공식 언어 자료에서 확인된 새로운 의미를 식별할 수 있는가?
• RQ4 분포 패턴만을 사용하여 다양한 시간 척도에서 의미 변화를 탐지하는 데 얼마나 효과적인가?
• RQ5 시간에 따른 군집화와 비교가 명사의 의미 변화 진화를 식별하는 데 어떤 영향을 미치는가?

주요 결과

• 수작업으로 48개 사례에서 새로운 의미 출현을 식별한 결과, 60.4%의 정확도를 달성했다.
• 무작위로 선정된 21개의 사례에서 분열 및 융합 사건에 대해 알고리즘이 57%의 사례를 정확히 탐지했다.
• 탐지된 새로운 의미 중 44%는 WordNet에서 확인되어 기존 어휘 자료와 강한 일치를 보였다.
• WordNet는 알고리즘이 탐지한 분열 사건의 46%와 융합 사건의 43%를 확인하여, 전통적인 어휘 데이터베이스와 광범위한 일致성을 보였다.
• 2002–2005년 슬랭어 목록에서 25개의 슬랭어 어휘를 성공적으로 식별하여 비공식적이고 새로운 어휘 사용에 민감함을 입증했다.
• 결과적으로 탐지된 의미 변화의 약 절반 가량이 이미 WordNet에서 확인된 바가 있어, 어휘 자료 유지 관리에 있어 이 방법의 관련성을 강조한다.