[논문 리뷰] A Comparison of Word Embeddings for English and Cross-Lingual Chinese Word Sense Disambiguation

Hong Jin Kang, Tao Chen외 2명|arXiv (Cornell University)|2016. 11. 09.

Topic Modeling참고 문헌 25인용 수 3

한 줄 요약

이 논문은 단일 언어 영어 및 영어-중국어 다국어 단어 의미 해석(Word Sense Disambiguation, WSD)을 위한 사전 학습된 단어 임베딩(Word2Vec, GloVe, Collobert & Weston)을 평가하며, 재학습 없이도 IMS WSD 시스템에 임베딩 특징을 통합하여 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다. 공개된 영어-중국어 다국어 WSD 데이터셋을 제작하고, 단순한 임베딩 합산과 적절한 스케일링이 더 복잡한 LSTM 모델보다 뛰어난 성능을 내는 것으로 밝혀졌다.

ABSTRACT

Word embeddings are now ubiquitous forms of word representation in natural language processing. There have been applications of word embeddings for monolingual word sense disambiguation (WSD) in English, but few comparisons have been done. This paper attempts to bridge that gap by examining popular embeddings for the task of monolingual English WSD. Our simplified method leads to comparable state-of-the-art performance without expensive retraining. Cross-Lingual WSD - where the word senses of a word in a source language e come from a separate target translation language f - can also assist in language learning; for example, when providing translations of target vocabulary for learners. Thus we have also applied word embeddings to the novel task of cross-lingual WSD for Chinese and provide a public dataset for further benchmarking. We have also experimented with using word embeddings for LSTM networks and found surprisingly that a basic LSTM network does not work well. We discuss the ramifications of this outcome.

연구 동기 및 목표

• 표준 벤치마크(Senseval-2, Senseval-3, SemEval-2007)에서 단일 언어 영어 WSD에 대해 다양한 사전 학습된 단어 임베딩의 효과성을 비교하기 위해.
• 재학습 없이도 성능 향상을 위해 기존 IMS WSD 시스템에 단어 임베딩을 특징으로 통합하여 확장하기 위해.
• 영어를 원천 언어로, 중국어를 목표 언어로 삼아 다국어 WSD에서 단어 임베딩의 실현 가능성과 성능을 조사하기 위해.
• 교육적 응용 및 벤치마크를 위해 골드 표준 영어-중국어 다국어 WSD 데이터셋을 구축하고 공개하기 위해.
• 단순한 LSTM 아키텍처에 단어 임베딩를 적용한 성능을 평가하고, 전통적인 지도 학습 방법과 비교하기 위해.

제안 방법

• 기본 제공되는 오픈소스 IMS WSD 시스템에 사전 학습된 단어 임베딩(Word2Vec, GloVe, Collobert & Weston)을 추가 특징으로 통합하여 개선하였다.
• 간단한 특징 조합 방법을 적용: 스케일링 파rameter(σ = 0.05, 0.1, 0.15)를 적용한 임베딩 벡터 합산을 통해 특징 표현을 향상시켰다.
• 단일 언어 WSD의 All Words 작업에서 학습을 위해 One-Million Sense-Tagged Instances 데이터셋을 사용하였다.
• 실제 뉴스 기사에서 영어-중국어 다국어 WSD 데이터셋을 구축하였으며, 목표 단어에 대해 인간이 애너테이션한 중국어 번역을 포함하였다.
• 세분화된 평가와 개별 평가를 모두 사용하여 성능을 평가하였으며, 개별 평가에서는 모든 애너테이션을 정답으로 간주하였다.
• 동일한 데이터셋과 평가 프로토콜을 사용하여 단순한 LSTM 네트워크와 개선된 IMS 시스템을 비교하였다.

실험 결과

연구 질문

• RQ1 다양한 사전 학습된 단어 임베딩(Word2Vec, GloVe, Collobert & Weston)이 단일 언어 영어 WSD에서 성능에 어떻게 영향을 미치는가?
• RQ2 기존 WSD 시스템(IMS)에 단어 임베딩을 단순한 특징 통합 방식으로 통합하면 재학습 없이도 최신 기술 수준의 시스템과 경쟁하거나 뛰어난 성능을 낼 수 있는가?
• RQ3 영어 단어를 중국어로 번역할 때 단어 임베딩이 다국어 WSD 성능 향상에 얼마나 기여하는가?
• RQ4 단어 임베딩가 다른 NLP 작업에서는 성공했지만, 왜 단순한 LSTM 네트워크는 WSD 성능 향상에 실패하는가?
• RQ5 스케일링 파rameter(σ)의 선택이 WSD에서 임베딩 특징 합산의 성능에 어떻게 영향을 미치는가?

주요 결과

• IMS 시스템에 사전 학습된 단어 임베딩를 특징으로 통합함으로써 단일 언어 WSD 작업에서 성능 향상을 달성하였으며, 재학습 없이도 최신 기술 수준의 시스템과 경쟁하거나 뛰어난 성능을 기록하였다.
• 모든 벤치마크에서 Word2Vec 임베딩가 가장 높은 성능을 보였고, 그 다음으로 GloVe, Collobert & Weston 임베딩가 이어졌다.
• 적절한 스케일링(σ = 0.1)을 적용한 임베딩 벡터의 단순 합산이 다국어 WSD에서 최고의 정확도(0.772)를 기록하였으며, 기준 모델 대비 21.3% 향상된 성능을 보였다.
• 다국어 WSD 데이터셋의 크기가 작아 단어 임베딩의 성능 향상 효과는 95% 신뢰수준에서 통계적으로 유의미하지 않았다.
• 단어 임베딩를 사용한 단순한 LSTM 네트워크는 성능이 열악했으며, 이는 이 WSD 환경에서 단어 임베딩만으로는 효과적인 시퀀스 모델링이 불가능하다는 것을 시사한다.
• Bing 번역기의 어구 수준 번역 행동이 단일어 번역에 대해 약한 대응을 보여, 어절 수준의 다국어 WSD에서 기준 모델로써 신뢰할 수 없음을 입증하였다.