[논문 리뷰] A Simple Approach to Learn Polysemous Word Embeddings

Yifan Sun, Nikhil Rao외 1명|arXiv (Cornell University)|2017. 07. 06.

Topic Modeling참고 문헌 19인용 수 8

한 줄 요약

이 논문은 표준 word2vec 임베딩을 기반으로 하여, 정규화된 공출현 통계를 사용해 문맥적 단어 표현을 전역적 단어 벡터의 가중 조합으로 모델링하는 간단한 선형 방법을 제안한다. 단순함에도 불구하고, 복잡한 딥러닝 모델보다 추가 학습 없이도 여러 비지도 다의어 평가 과제에서 최고 성능을 기록한다.

ABSTRACT

Many NLP applications require disambiguating polysemous words. Existing methods that learn polysemous word vector representations involve first detecting various senses and optimizing the sense-specific embeddings separately, which are invariably more involved than single sense learning methods such as word2vec. Evaluating these methods is also problematic, as rigorous quantitative evaluations in this space is limited, especially when compared with single-sense embeddings. In this paper, we propose a simple method to learn a word representation, given any context. Our method only requires learning the usual single sense representation, and coefficients that can be learnt via a single pass over the data. We propose several new test sets for evaluating word sense induction, relevance detection, and contextual word similarity, significantly supplementing the currently available tests. Results on these and other tests show that while our method is embarrassingly simple, it achieves excellent results when compared to the state of the art models for unsupervised polysemous word representation learning.

연구 동기 및 목표

• 복잡한 학습이나 클러스터링 없이도 문맥적이고 의미별로 특화된 단어 임베딩을 학습하는 데 도전하는 것.
• 비지도 다의어 표현 학습을 위한 단순하면서도 효과적인 방법을 개발하는 것.
• 다양한 NLP 과제에서 다의어 단어 임베딩을 평가하기 위한 종합적이고 대규모의 테스트 세트를 제공하는 것.
• 최소한의 비신경망 접근 방식이 상태 기준의 딥러닝 모델을 능가하거나 이를 능가할 수 있음을 보여주는 것.

제안 방법

• 각 단어의 기본 벡터로 표준 단일의미 word2vec 임베딩을 사용한다.
• 문맥 단어 벡터의 가중 조합으로 문맥적 단어 임베딩을 계산하며, 가중치는 목표 단어와의 공출현 빈도에 기반한다.
• 가중치 행렬은 정규화된 공출현 수를 통해 유도되며, $ W_{ij} = \frac{\text{공출현 수}(i,j)}{\text{빈도}(i) \times \text{빈도}(j)} $ 로 정의된다.
• 목표 단어 $ i $ 에 대한 문맥 $ \mathcal{S} $ 에서의 최종 문맥 임베딩은 $ u = \frac{1}{|\mathcal{S}|} \sum_{j \in \mathcal{S}} W_{ji} C_j $ 로 계산되며, 여기서 $ C_j $ 는 단어 $ j $ 의 word2vec 벡터이다.
• 추가 학습이 필요 없으며, 공출현 통계를 계산하기 위해 단일 코퍼스 스캔만으로도 충분하다.
• 모든 단어와 문맥에 동일하게 적용 가능하므로, 제로샷 문맥 적응이 가능하다.

실험 결과

연구 질문

• RQ1 사전 학습된 단어 벡터와 공출현 가중치를 선형 조합으로 조합하는 것이 다의어 표현 학습에서 경쟁 가능한 성능을 낼 수 있는가?
• RQ2 제안된 방법은 비지도 다의어 평가 과제에서 복잡한 딥러닝 기반 모델과 비교해 어떻게 성능을 내는가?
• RQ3 통합적이고 학습 불가능한 방법이 종단 간 학습과 의미 클러스터링을 요구하는 모델을 능가할 수 있는가?
• RQ4 제안된 테스트 세트는 기존 벤치마크와 비교해 다의어 임베딩 평가를 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 다의어 유도, 문맥적 단어 유사도, 관련성 검출 과제에서 최고 성능을 기록하며, Huang 등(2012) 및 Arora 등(2016)의 복잡한 모델들을 능가한다.
• 단어의미 분류(WSC) 과제에서 C1에서는 평균 정확도 84.3%, C2에서는 78.9%를 기록하여 대부분의 기존 비지도 방법을 능가한다.
• 문맥적 단어 유사도 과제에서 모델은 새로운 테스트 세트에서 스피어만 상관계수 0.78를 기록하며 기준 모델을 크게 능가한다.
• 의미 수준의 감독 정보를 가진 WordNet 기반 모델과 비교해도 경쟁력 있는 성능를 보이며, 이는 의미 감독 정보를 활용한 모델조차도 이길 수 있음을 시사한다.
• 다양한 문맥과 다의어 단어에 걸쳐 성능가 장기적으로 안정적이며, 계산 오버헤드도 최소한이다.
• 저자들은 종합적이고 다의어 특화된 벤치마크에서 평가했을 때, 비신경망 선형 방법이 딥러닝 모델을 능가할 수 있음을 입증했다.