[논문 리뷰] Word sense disambiguation via bipartite representation of complex networks.

Edilson A. Corrêa, Alneu de Andrade Lopes외 1명|arXiv (Cornell University)|2016. 06. 25.

Topic Modeling참고 문헌 28인용 수 36

한 줄 요약

이 논문은 목표(모호한) 단어와 특징(맥락적) 단어를 네트워크 내의 노드로 표현하는 이분할 네트워크 모델을 제안한다. 이 모델은 의미 관계를 명시적으로 활용하여 어휘의 의미 해석을 수행한다. 주제 특징을 사용하여 네트워크 구조에서 직접적으로 의미 분류를 수행함으로써, 특히 소규모 학습 데이터셋에서 우수한 성능을 달성한다. 일부 경우에서 서포트 벡터 기반 기계 학습(SVM)을 능가한다.

ABSTRACT

In recent years, concepts and methods of complex networks have been employed to tackle the word sense disambiguation (WSD) task by representing words as nodes, which are connected if they are semantically similar. Despite the increasingly number of studies carried out with such models, most of them use networks just to represent the data, while the pattern recognition performed on the attribute space is performed using traditional learning techniques. In other words, the structural relationship between words have not been explicitly used in the pattern recognition process. In addition, only a few investigations have probed the suitability of representations based on bipartite networks and graphs (bigraphs) for the problem, as many approaches consider all possible links between words. In this context, we assess the relevance of a bipartite network model representing both feature words (i.e. the words characterizing the context) and target (ambiguous) words to solve ambiguities in written texts. Here, we focus on the semantical relationships between these two type of words, disregarding the relationships between feature words. In special, the proposed method not only serves to represent texts as graphs, but also constructs a structure on which the discrimination of senses is accomplished. Our results revealed that the proposed learning algorithm in such bipartite networks provides excellent results mostly when topical features are employed to characterize the context. Surprisingly, our method even outperformed the support vector machine algorithm in particular cases, with the advantage of being robust even if a small training dataset is available. Taken together, the results obtained here show that the proposed representation/classification method might be useful to improve the semantical characterization of written texts.

연구 동기 및 목표

• 기존의 WSD 방법이 복잡한 네트워크를 데이터 표현에만 사용하고, 명시적인 패턴 인식에는 사용하지 않는 한계를 해결하기 위해.
• 모호한 단어와 그 맥락 단어 사이의 의미 관계를 모델링하는 데 있어 이분할 네트워크 표현의 효과성을 조사하기 위해.
• 이분할 네트워크의 구조적 특성에 직접적으로 기반하여 의미 분류를 수행하는 학습 알고리즘을 개발하기 위해.
• 제안된 네트워크 기반 WSD 프레임워크에서 주제 특징이 성능 향상에 기여하는지 평가하기 위해.

제안 방법

• 이 방법은 한 쌍의 노드로 구성된 이분할 네트워크를 구축하며, 한 쌍은 모호한(대상) 단어를, 다른 쌍은 맥락의 특징 단어를 나타낸다.
• 의미 관계는 대상 단어와 특징 단어 사이에만 설정되며, 특징 단어 간의 직접 연결은 제외되어 구조를 단순화하고 맥락-대상 연결에 집중한다.
• 네트워크 구조가 분류의 주요 근거로 사용되며, 속성 공간에서의 전통적 기계 학습이 아닌, 위상적 분석을 통해 의미 분류가 수행된다.
• 주제 특징은 맥락을 특성화하여 모델이 관련 의미적 단서를 더 잘 포착할 수 있도록 한다.
• 학습 알고리즘은 네트워크의 연결 패턴을 활용하여 모호한 단어에 가장 가능성이 높은 의미를 할당한다.
• 표준 WSD 벤치마크를 사용하여 성능을 평가하였으며, SVM 및 기타 기준 방법과의 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 이분할 네트워크 표현은 어휘의 의미 해석을 위한 모호한 단어와 맥락적 특징 간의 의미 관계를 효과적으로 모델링할 수 있는가?
• RQ2 제안된 네트워크 기반 방법의 성능는 WSD 작업에서 SVM과 같은 전통적 기계 학습 접근법과 비교해 볼 때 어떻게 되는가?
• RQ3 주제 특징의 사용이 이분할 네트워크 모델에서 의미 분류 정확도를 얼마나 향상시키는가?
• RQ4 소규모 데이터셋에서 학습할 경우 제안된 방법은 여전히 강건한 성능을 유지하는가?

주요 결과

• 주제 특징을 사용하여 맥락을 특성화한 경우, 제안된 방법이 서포트 벡터 기반 기계 학습(SVM)을 일부 경우에서 능가한다.
• 제한된 학습 데이터셋에서도 강건한 성능을 보이며, 뛰어난 일반화 능력을 나타낸다.
• 주제 특징의 사용은 의미 모호성을 해소하는 데 모델의 능력을 크게 향상시킨다.
• 이분할 네트워크 구조는 전통적인 속성 공간 학습에 의존하지 않고도 대상-특징 단어 간의 의미 관계를 명시적으로 모델링함으로써 효과적인 의미 분류를 가능하게 한다.