[논문 리뷰] Word Sense Disambiguation for 158 Languages using Word Embeddings Only

Varvara Logacheva, Денис Тесленко외 8명|MADOC (University of Mannheim)|2020. 03. 14.

Natural Language Processing Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 사전 훈련된 fastText 단어 임베딩만을 사용하여 완전히 비지도, 지식이 없는 단어의 의미 해석(의미 해석) 방법을 제안한다. 제안된 egvi (에고-그래프 벡터 유도) 알고리즘은 의미 유사도를 기반으로 단어 벡터를 군집화하여 의미 어휘를 유도하며, 외부 자원 없이 158개 언어에서 의미 해석을 수행할 수 있게 한다. 공개된 모델과 온라인 시스템을 통해 多국어 의미 해석이 가능하다.

ABSTRACT

Disambiguation of word senses in context is easy for humans, but is a major challenge for automatic approaches. Sophisticated supervised and knowledge-based models were developed to solve this task. However, (i) the inherent Zipfian distribution of supervised training instances for a given word and/or (ii) the quality of linguistic knowledge representations motivate the development of completely unsupervised and knowledge-free approaches to word sense disambiguation (WSD). They are particularly useful for under-resourced languages which do not have any resources for building either supervised and/or knowledge-based models. In this paper, we present a method that takes as input a standard pre-trained word embedding model and induces a fully-fledged word sense inventory, which can be used for disambiguation in context. We use this method to induce a collection of sense inventories for 158 languages on the basis of the original pre-trained fastText word embeddings by Grave et al. (2018), enabling WSD in these languages. Models and system are available online.

연구 동기 및 목표

• 외부 지식이나 애너테이션된 코퍼스가 전혀 필요 없는 완전히 비지도 WSD 방법을 개발하는 것.
• 어휘 자원이나 레이블이 있는 학습 데이터가 부족한 언어에 대한 단어의 의미 해석을 가능하게 하는 것.
• 그래프 군집화를 사용하여 사전 훈련된 fastText 임베딩에서 다국어 의미 어휘를 생성하는 것.
• 158개 언어에서 실시간 의미 해석이 가능한 기능성 있는 다국어 WSD 시스템을 공개하는 것.

제안 방법

• 사전 훈련된 fastText 단어 임베딩에서 의미 유사도 그래프를 구축하며, 노드는 단어 벡터이고, 간선은 코사인 유사도를 나타낸다.
• 에고-그래프 군집화를 적용하여 그래프를 서로 빽빽이 연결된 부분그래프로 분할하며, 각 부분그래프는 별개의 단어 의미를 나타낸다.
• 군집 중심점에서 유도된 의미 벡터를 사용하여, 맥락 속에서 가장 가까운 의미 벡터에 단어를 할당함으로써 의미 해석을 수행한다.
• 재학습이나 외부 지식 없이도 원래의 단어 임베딩만을 사용하여 의미 벡터의 리터래핑(다시보정)을 수행한다.
• 입력 텍스트의 언어를 식별하고 해당 언어에 맞는 사전 추출된 의미 어휘를 적용함으로써 실시간 WSD를 지원한다.
• 이 방법은 언어에 종속되지 않으며, 분포 가설을 활용하여 지도 없이 다의어를 탐지한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 단어 임베딩 외에 외부 지식이나 레이블이 없는 조건에서 의미 해석을 달성할 수 있는가?
• RQ2 단어 임베딩의 그래프 군집화가 다양한 언어에서 의미 있고 일관된 의미 어휘를 유도하는 데 얼마나 효과적인가?
• RQ3 비지도 의미 유도가 자원이 적은 환경에서의 하위 NLP 작업에 얼마나 기여하는가?
• RQ4 단일 방법으로 사전 훈련된 임베딩과 언어별 자원 없이 158개 언어로 확장 가능한가?
• RQ5 유도된 의미 벡터의 성능은 다국어 유사도 벤치마크에서 비의미 해석 임베딩보다 어떻게 비교되는가?

주요 결과

• 제안된 egvi 알고리즘이 외부 자원 없이 사전 훈련된 fastText 임베딩만을 사용하여 158개 언어에서 의미 어휘를 성공적으로 유도하였다.
• 비의미 해석 임베딩보다 다국어 단어 유사도 벤치마크에서 향상된 성능을 달성하여 의미 수준 표현의 유용성을 입증하였다.
• 연구된 158개 언어 중 다수에 대해 이는 완전히 비지도 WSD 시스템으로서 최초의 사례이며, 특히 자원이 부족한 언어에 매우 유용하다.
• 평가 결과, 군집에서 파생된 의미 벡터가 의미 유사도 점수를 향상시켜 유도된 의미 어휘의 품질을 검증하였다.
• 공개된 의미 어휘와 온라인 시스템 덕분에 모든 158개 언어에서 실시간 의미 해석이 가능하며, 다국어 NLP 파이프라인에 실질적인 구현을 지원한다.
• 피팅 조정이나 지도 학습 없이도 평균적으로 기준 비의미 해석 임베딩보다 성능이 뛰어나, 이는 제안된 방법의 우수성을 시사한다.