[논문 리뷰] Synonyms and Antonyms: Embedded Conflict

Igor Samenko, Alexey Tikhonov외 1명|arXiv (Cornell University)|2020. 04. 27.

Natural Language Processing Techniques참고 문헌 11인용 수 8

한 줄 요약

이 논문은 현대의 단어 임베딩이 동의어와 반대어에 대해 유사한 코사인 유사도를 보이지만, 이를 구분하는 데서 차별화되는 기하학적 패턴을 내재하고 있음을 보여준다. 소량의 레이블이 붙은 부분집합에 대해 대비 맵을 훈련시킴으로써, 이 방법은 의미적 속성을 분리하여, 후속 작업 성능을 향상시키는 개선된 임베딩을 생성한다.

ABSTRACT

Since modern word embeddings are motivated by a distributional hypothesis and are, therefore, based on local co-occurrences of words, it is only to be expected that synonyms and antonyms can have very similar embeddings. Contrary to this widespread assumption, this paper shows that modern embeddings contain information that distinguishes synonyms and antonyms despite small cosine similarities between corresponding vectors. This information is encoded in the geometry of the embeddings and could be extracted with a manifold learning procedure or {\em contrasting map}. Such a map is trained on a small labeled subset of the data and can produce new empeddings that explicitly highlight specific semantic attributes of the word. The new embeddings produced by the map are shown to improve the performance on downstream tasks.

연구 동기 및 목표

• 현대의 단어 임베딩이 동의어와 반대어에 대해 비슷한 코사인 유사도를 보일지라도, 그 자체로 이들을 구분할 수 있는지 조사하는 것.
• 특히 반대어 쌍에 대해 발생하는 의미적 모호성 문제를 해결하는 것.
• 사전에 훈련된 임베딩에서 동의어성과 반대어성과 같은 의미적 속성을 명시적으로 분리하는 방법을 개발하는 것.
• 특정 의미적 대비를 강조하는 새로운 임베딩을 학습하여 후속 NLP 작업의 성능을 향상시키는 것.

제안 방법

• 분포적 가설을 활용하여, 텍스트 내 국소적 공현 패턴이 암묵적으로 의미 관계를 인코딩한다고 가정한다.
• 다양한 기하학적 구조를 드러내기 위해 다양체 학습을 적용하여, 동의어와 반대어를 구분하는 단어 임베딩의 기하학적 구조를 밝혀낸다.
• 의미적 대비를 강조하는 변환을 학습하기 위해 소량의 레이블이 붙은 어휘 쌍 부분집합에 대해 대비 맵을 훈련시는 것.
• 대비 맵은 원래의 임베딩을 의미적 속성(예: 동의어성, 반대어성)이 명시적으로 강조되는 새로운 공간으로 투영한다.
• 결과로 생성된 변환된 임베딩은 후속 작업에서의 성능 평가를 위해 평가된다.
• 이 방법은 심지어 동의어와 반대어 간의 작은 코사인 유사도라도 기하학적 정보를 활용할 수 있다는 가정에 기반한다.

실험 결과

연구 질문

• RQ1 유사한 코사인 유사도를 보일지라도, 사전에 훈련된 단어 임베딩의 기하학적 구조가 동의어와 반대어를 구분할 수 있는가?
• RQ2 단어 임베딩에서 동의어성과 반대어성과 같은 의미적 속성을 명시적으로 강조하는 변환을 학습할 수 있는가?
• RQ3 대비 맵은 표준 임베딩에 비해 후속 NLP 작업의 성능 향상에 얼마나 효과적인가?
• RQ4 쌍방의 유사도를 넘어서서 현대의 단어 임베딩 기하학에 어떤 의미 정보가 내재되어 있는가?

주요 결과

• 작은 코사인 유사도가 존재하더라도, 단어 임베딩의 기하학적 구조는 동의어와 반대어를 구분하는 데서 구분 가능한 정보를 담고 있다.
• 대비 맵은 임베딩 공간의 기하학적 구조를 활용하여 의미적 속성을 성공적으로 분리한다.
• 대비 맵에 의해 생성된 변환된 임베딩은 후속 NLP 작업의 성능 향상에 기여한다.
• 이 방법은 훈련을 위해 소량의 레이블이 붙은 부분집합만 필요로 하므로 데이터 효율적이며 실세계 응용에 실용적이다.