[논문 리뷰] An Unsupervised Word Sense Disambiguation System for Under-Resourced Languages

Dmitry Ustalov, Денис Тесленко외 4명|arXiv (Cornell University)|2018. 04. 27.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 어휘 자원이 부족한 언어, 특히 러시아어와 같은 언어에 대해 문맥과 시냅스 표현 간의 의미 유사도를 활용하는 비지도 학습 단어 의미 해석 시스템인 Watasense를 제안한다. 이 시스템은 희소(벡터 공간 모델) 및 조밀(시냅스 임베딩) 접근 방식을 모두 활용하며, 특히 조밀 모드가 세 가지 러시아어 어휘 자원에서 희소 모드보다 뛰어난 성능을 보이며, RuWordNet을 사용할 때 위키위키 서브셋에서 조정된 랜드 지수(ARI) 0.50을 달성한다.

ABSTRACT

In this paper, we present Watasense, an unsupervised system for word sense disambiguation. Given a sentence, the system chooses the most relevant sense of each input word with respect to the semantic similarity between the given sentence and the synset constituting the sense of the target word. Watasense has two modes of operation. The sparse mode uses the traditional vector space model to estimate the most similar word sense corresponding to its context. The dense mode, instead, uses synset embeddings to cope with the sparsity problem. We describe the architecture of the present system and also conduct its evaluation on three different lexical semantic resources for Russian. We found that the dense mode substantially outperforms the sparse one on all datasets according to the adjusted Rand index.

연구 동기 및 목표

• 수동으로 태깅된 데이터가 부족하여 지도 학습 방법이 불가능한 어휘 자원이 부족한 언어, 예를 들어 러시아어에서 단어 의미 해석(WSD) 문제를 해결한다.
• 수동으로 태깅된 의미 레이블이 필요 없이, 기본적인 자연어 처리 도구와 의미 인벤토리만을 기반으로 작동하는 시스템을 개발한다.
• 어휘 자원이 부족한 환경에서 희소 및 조밀 표현 방식의 WSD 성능을 평가한다.
• 기존의 희소 벡터 모델에 비해 조밀 표현(시냅스 임베딩)이 의미 해석 정확도를 크게 향상시킨다는 것을 입증한다.
• 웹, 명령줄, API 인터페이스를 갖춘 모듈식이고 오픈소스의 WSD 시스템을 제공하여 자연어 처리 파이프라인에 통합할 수 있도록 한다.

제안 방법

• 동의어, 하위어, 그들의 합집합(단어의 집합)으로 구성된 시냅스를 사용해 각 단어 의미를 의미적으로 표현한다.
• 의미 해석 중에 효율적인 검색을 위해 단어에서 해당 후보 시냅스로의 역색인 인덱스를 구축한다.
• 두 가지 모드를 구현한다: 문장과 시냅스 표현 간의 유사도를 계산하는 전통적인 벡터 공간 모델 유사도를 사용하는 희소 모드.
• 러시아어 분포어휘사전에서 사전에 학습된 500차원 단어 임베딩을 사용해 문맥과 시냅스 임베딩 간의 의미 유사도를 계산하는 조밀 모드를 구현한다.
• 문장의 맥락과 가장 높은 의미 유사도를 보이는 시냅스를 선택함으로써 각 단어를 의미 해석한다. 이 유사도는 코사인 유사도로 계산된다.
• 공통된 전처리 작업을 캡슐화하고 다양한 WSD 방법에 대한 통일된 API를 제공하기 위해 일반적인 BaseWSD 클래스를 사용한다.

실험 결과

연구 질문

• RQ1 어휘 자원이 부족한 언어, 예를 들어 러시아어에서 수동 태깅된 학습 데이터가 없이도 비지도 학습 WSD 시스템이 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 어휘 자원이 부족한 환경에서 희소 벡터 공간 모델과 조밀 임베딩 기반 접근 방식 간의 WSD 정확도는 어떻게 비교되는가?
• RQ3 분포어 벡터에서 유도된 시냅스 임베딩을 사용할 경우, 기존의 전통적인 단어 의미 표현에 비해 의미 해석 성능 향상이 이루어지는가?
• RQ4 의미 인벤토리의 선택(예: Watlink, RuThes, RuWordNet)이 WSD 시스템의 성능에 얼마나 큰 영향을 미치는가?
• RQ5 토크나이저, 품사 태거, 어형 정규화기 및 의미 인벤토리만으로도 어휘 자원이 부족한 언어에서 WSD에 효과적인 시스템을 구축할 수 있는가?

주요 결과

• Watasense의 조밀 모드는 평가된 세 데이터셋 전반에서 희소 모드를 뚜렷이 앞서며, RuWordNet을 사용할 때 위키위키 서브셋에서 조정된 랜드 지수(ARI) 0.50을 달성한다.
• bts-rnc 데이터셋에서 조밀 모드는 RuWordNet을 사용해 ARI 0.12를 기록했고, 희소 모드는 0.00이었으며, 이는 일관된 성능 향상을 보여준다.
• RuThes를 사용할 경우 조밀 접근 방식은 평균 ARI 0.17을 기록했고, 희소 모드는 0.01이었으며, 이는 뚜렷한 성능 향상을 의미한다.
• 대규모 코퍼스에서 학습된 AdaGram 기준선은 평균적으로 더 높은 성능(AUC = 0.23)을 보였지만, Watasense의 조밀 모드는 위키위키 서브셋에서 이를 뛰어넘어 ARI 0.50을 달성했다.
• 시스템의 성능는 다양한 의미 인벤토리에 대해 뛰어난 안정성을 보이며, 조밀 모드는 사용된 인벤토리에 관계없이 일관된 성능 향상을 보였다.
• 결과는 조밀 표현 방식이 어휘 자원이 부족한 환경에서 특히 두드러지는 희소 벡터 모델의 희소성 문제를 효과적으로 완화한다는 것을 확인한다.