[논문 리뷰] KSU KDD: Word Sense Induction by Clustering in Topic Space

Wesam Elshamy, Doina Caragea외 1명|arXiv (Cornell University)|2013. 02. 28.

Topic Modeling참고 문헌 6인용 수 9

한 줄 요약

이 논문은 잠재 디리클레 분할(LDA) 모델에서 유추된 주제 분포를 사용하여 어휘 의미를 군집화하는 언어 독립적이고 비지도 학습 기반의 어휘 의미 유도 시스템을 제안한다. 각 다의어의 맥락을 K차원 공간 내 주제 분포로 표현하고 코사인 유사도를 사용한 K-평균 군집화를 적용함으로써, 레이블이 없는 데이터나 언어 특화 기능을 사용하지 않음에도 불구하고 SemEval-2 WSI 과제에서 두 번째로 높은 V-측도 점수(15.7)를 기록하여 효과성을 입증한다.

ABSTRACT

We describe our language-independent unsupervised word sense induction system. This system only uses topic features to cluster different word senses in their global context topic space. Using unlabeled data, this system trains a latent Dirichlet allocation (LDA) topic model then uses it to infer the topics distribution of the test instances. By clustering these topics distributions in their topic space we cluster them into different senses. Our hypothesis is that closeness in topic space reflects similarity between different word senses. This system participated in SemEval-2 word sense induction and disambiguation task and achieved the second highest V-measure score among all other systems.

연구 동기 및 목표

• 표준화된 학습 데이터나 품사 태깅에 의존하지 않는 간단하고 비용 효율적이며 언어 독립적인 비지도 학습 기반 어휘 의미 유도 시스템을 개발하는 것.
• 전체 맥락 공간 내 주제 분포가 어휘 의미 간 의미 유사도를 효과적으로 반영할 수 있는지 탐구하는 것.
• 표준 비지도 평가 지표인 V-측도와 F-스코어를 사용하여 주제 기반 군집화의 어휘 의미 유도 성능을 평가하는 것.
• 주제 모델링이 미세한 또는 맥락적으로 섬세한 어휘 의미를 포착하는 데에서 보이는 한계를 분석하는 것.

제안 방법

• 목표 다의어의 모든 학습 인스턴스에 대해 단어의 집합만을 사용하여 잠재 디리클레 분할(LDA) 주제 모델을 학습한다.
• 학습된 LDA 모델을 사용하여 다의어를 포함한 각 테스트 인스턴스의 주제 분포 θ_l를 추론한다.
• 각 추론된 주제 분포를 K차원 주제 공간 내 점으로 표현하며, 여기서 K는 주제의 수이다.
• 코사인 유사도를 사용한 K-평균 군집화를 적용하여 주제 분포를 C개의 군집으로 묶으며, 각 군집은 하나의 어휘 의미에 대응한다.
• 분석 시 인간 레이블 기반 골드 표준(GS) 클래스 수를 군집 수 K로 사용하여 군집화가 인간 레이블 의미와 얼마나 잘 일치하는지 평가한다.
• 골드 레이블이 없는 상황에서 군집화 품질을 평가하기 위해 균형성과 완전성을 종합한 V-측도를 성능 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 LDA에서 유도된 주제 분포가 다의어의 의미 맥락을 효과적으로 표현하여 정확한 의미 군집화를 가능하게 할 수 있는가?
• RQ2 레이블이 없는 학습 데이터가 존재하는 상황에서 주제 공간 군집화 접근 방식의 성능이 다른 비지도 WSI 시스템과 비교해 어떻게 되는가?
• RQ3 시스템이 특정 어휘 의미를 포착하지 못하는 이유는 무엇이며, 어떤 맥락적 특징이 잘못 분류를 유도하는가?
• RQ4 주제 수 K의 수가 미세한 어휘 의미를 구분하는 데 시스템의 능력에 어떤 영향을 미치는가?

주요 결과

• 시스템은 SemEval-2 WSI 과제에서 15.7의 두 번째로 높은 V-측도 점수를 기록하여 대부분의 다른 비지도 시스템을 능가했다.
• 최적의 주제 수 K는 400으로 확인되었으며, 이 이상이 되면 학습 데이터의 어휘 제약로 인해 성능이 정점에 도달하거나 감소하는 경향을 보였다.
• 'promotion' 어휘의 경우, '직위 승진' 의미에 해당하는 대부분의 인스턴스가 잘 군집화되었지만, '드라이빙'이나 '트로프스'와 같은 맥락에서 지배적인 단어로 인해 일부는 잘못 군집화되었다.
• 'encourage' 의미의 'promotion'은 주제 모델에 의해 잘 포착되지 않았으며, 주변 주제어어에 따라 여러 군집에 흩어져 있어 이 의미를 탐지하지 못한 것으로 나타났다.
• '프로모션 이슈' 의미는 수치적 내용이 많아 '숫자와 돈' 군집으로 잘못 분류되었지만, 의미적으로는 일치하지 않았다.
• 명사에 대해서는 높은 성능(V-측도 18.0)을 보였지만, 동사에 대해서는 성능이 낮았음(12.4)으로, 어휘의 품사와 맥락의 풍부함에 민감한 것으로 나타났다.