[논문 리뷰] How much does a word weigh? Weighting word embeddings for word sense induction

Nikolay Arefyev, Pavel Ermolaev외 1명|arXiv (Cornell University)|2018. 05. 23.

Topic Modeling참고 문헌 10인용 수 11

한 줄 요약

이 논문은 의미가 모호한 단어의 맥락을 군집화하는 데 개선된 성능을 얻기 위해 단어 임베딩에 가중치를 부여하는 새로운 접근법을 제시한다. 맥락 임베딩의 가중 평균을 사용하여, 두 개의 RUSSE'2018 데이터셋에서 두 번째로 높은 성능을 기록했고, 세 번째 데이터셋에서는 세 번째로 높은 성능을 기록했으며, 이는 이전의 최상의 성능 기준보다 뚜렷이 뛰어난 결과이다.

ABSTRACT

The paper describes our participation in the first shared task on word sense induction and disambiguation for the Russian language RUSSE'2018 (Panchenko et al., 2018). For each of several dozens of ambiguous words, the participants were asked to group text fragments containing it according to the senses of this word, which were not provided beforehand, therefore the "induction" part of the task. For instance, a word "bank" and a set of text fragments (also known as "contexts") in which this word occurs, e.g. "bank is a financial institution that accepts deposits" and "river bank is a slope beside a body of water" were given. A participant was asked to cluster such contexts in the unknown in advance number of clusters corresponding to, in this case, the "company" and the "area" senses of the word "bank". The organizers proposed three evaluation datasets of varying complexity and text genres based respectively on texts of Wikipedia, Web pages, and a dictionary of the Russian language. We present two experiments: a positive and a negative one, based respectively on clustering of contexts represented as a weighted average of word embeddings and on machine translation using two state-of-the-art production neural machine translation systems. Our team showed the second best result on two datasets and the third best result on the remaining one dataset among 18 participating teams. We managed to substantially outperform competitive state-of-the-art baselines from the previous years based on sense embeddings.

연구 동기 및 목표

• 의미가 사전에 정의되어 있지 않고 맥락에서 발견되어야 하는 러시아어에서 단어의 의미 유도 문제를 해결하기 위해.
• 의미가 모호한 단어의 맥락 군집화 성능을 향상시키기 위해, 목표 단어에 대한 관련성에 따라 단어 임베딩에 가중치를 적용하기 위해.
• 다양한 텍스트 유형—위키백과, 웹 페이지, 사전 항목—을 대상으로 복잡성 수준이 다른 환경에서 성능을 평가하기 위해.
• 의미 임베딩 기반의 기존 최상의 성능 기준을 뛰어넘기 위해.
• 저자원 및 다국어 자연어 처리 환경에서 가중치가 부여된 임베딩 표현의 효과성을 입증하기 위해.

제안 방법

• 각 맥락을 의미가 모호한 단어에 대한 의미적 관련성에 따라 가중치가 부여된 단어 임베딩의 평균으로 표현한다.
• 긍정적 실험은 맥락에 맞는 가중치를 사용하여 다양한 의미에서의 모호한 단어 표현을 정밀하게 조정한다.
• 부정적 실험은 신경 기반 기계 번역 시스템을 활용하여 맥락 표현을 생성하며, 이는 대안 기준으로 기능한다.
• 사전에 학습된 단어 임베딩을 활용하고, 가중치가 부여된 표현에 대해 군집 알고리즘(예: k-means)을 적용하여 단어의 의미를 유도한다.
• 모델은 위키백과, 웹 페이지, 러시아어 사전에서 온 세 가지 서로 다른 데이터셋에서 학습 및 평가되며, 다양한 텍스트 장르와 복잡성 수준을 포함한다.
• 표준 군집 평가 지표인 V-측정 및 조정된 랜드 지수 등을 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 가중치가 부여된 단어 임베딩는 저자원 언어인 러시아어에서 단어의 의미 유도 품질을 향상시킬 수 있는가?
• RQ2 맥락 인식 가중치 부여 방식이 의미가 모호한 단어의 군집화에 있어 표준 평균 방식보다 우수한가?
• RQ3 신경 기반 기계 번역 시스템이 단어의 의미 유도에서 의미 표현의 대체 수단으로 얼마나 유용한가?
• RQ4 제안된 방법은 위키백과, 웹 콘텐츠, 사전 정의와 같은 다양한 텍스트 도메인에서 일반화 가능한가?
• RQ5 의미 임베딩 기반의 이전 최상의 성능 기준 대비 이 방법의 성능은 어떠한가?

주요 결과

• 제안된 방법은 RUSSE'2018 평가 데이터셋 중 두 개에서 두 번째로 높은 성능을 기록했다.
• 남은 하나의 데이터셋에서는 참가한 18개 팀 중 세 번째로 높은 성능을 기록했다.
• 이전의 최상의 성능 기준에 기반한 의미 임베딩 기반 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 가중치가 부여된 단어 임베딩의 평균화는 더 구분력 있는 맥락 표현을 이끌어내어 군집 정확도를 향상시켰다.
• 위키백과, 웹 페이지, 사전 항목을 포함한 다양한 텍스트 유형에서 뛰어난 안정성을 보였다.
• 신경 기반 기계 번역 시스템을 활용한 부정적 실험은 경쟁력 있는 기준을 제공했지만, 긍정적 가중치 임베딩 방법이 이를 뛰어넘었다.