[논문 리뷰] Imparting Interpretability to Word Embeddings.

Aykut Koç, İhsan Utlu외 2명|arXiv (Cornell University)|2018. 07. 19.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 Roget의 동사사전에서 유도된 사전에 정의된 차원에 따라 의미적으로 관련된 단어들을 정렬함으로써 단어 임베딩의 해석 가능성을 향상시키는 방법을 제안한다. 이는 임베딩 목적 함수에 추가적인 수정을 가미함으로써 이루어지며, 의미적 일관성을 유지하면서도 차원 수준의 해석 가능성을 향상시킨다. 이는 기준 테스트와 인간 평가를 통해 검증되었다.

ABSTRACT

As an ubiquitous method in natural language processing, word embeddings are extensively employed to map semantic properties of words into a dense vector representation. They capture semantic and syntactic relations among words but the vectors corresponding to the words are only meaningful relative to each other. Neither the vector nor its dimensions have any absolute, interpretable meaning. We introduce an additive modification to the objective function of the embedding learning algorithm that encourages the embedding vectors of words that are semantically related to a predefined concept to take larger values along a specified dimension, while leaving the original semantic learning mechanism mostly unaffected. In other words, we align words that are already determined to be related, along predefined concepts. Therefore, we impart interpretability to the word embedding by assigning meaning to its vector dimensions. The predefined concepts are derived from an external lexical resource, which in this paper is chosen as Roget's Thesaurus. We observe that alignment along the chosen concepts is not limited to words in the Thesaurus and extends to other related words as well. We quantify the extent of interpretability and assignment of meaning from our experimental results. Manual human evaluation results have also been presented to further verify that the proposed method increases interpretability. We also demonstrate the preservation of semantic coherence of the resulting vector space by using word-analogy and word-similarity tests. These tests show that the interpretability-imparted word embeddings that are obtained by the proposed framework do not sacrifice performances in common benchmark tests.

연구 동기 및 목표

• 벡터 차원에 내재된 의미가 없는 단어 임베딩의 해석 가능성 부족 문제를 해결하기 위해.
• 외부 어휘 자원과의 정렬을 통해 단어 임베딩 차원이 해석 가능한 의미적 개념을 지닐 수 있도록 하기 위해.
• 해석 가능성 향상 과정에서 단어 임베딩 공간의 의미적 일관성과 성능을 유지하기 위해.
• 해당 자원에 명시적으로 포함된 단어를 초월하여 관련된 OOV(Out-of-Vocabulary) 단어까지도 해석 가능성을 확장할 수 있는지 입증하기 위해.
• 정량적 기준 테스트와 인간 평가를 통해 방법의 타당성을 검증하기 위해.

제안 방법

• 사전에 정의된 개념과 관련된 단어들이 특정 차원을 따라 높은 값을 가지도록 유도하기 위해 단어 임베딩 학습의 목적 함수에 추가적인 수정을 도입한다.
• 사전에 정의된 개념은 Roget의 동사사전에서 유래되며, 이는 개념 정렬을 위한 구조화된 어휘 자원을 제공한다.
• 특정 차원을 중심으로 의미 유사도를 강조하기 위해 최적화 목적 함수를 선택적으로 수정함으로써 원래의 학습 메커니즘을 유지한다.
• 정렬 과정은 학습 중에 적용되어 임베딩 공간이 개념에 대응하는 해석 가능한 방향을 학습하도록 한다.
• 모델 전체를 재학습할 필요 없이 목적 함수에 추가적인 정규화 항만을 적용함으로써 기존 모델을 수정할 수 있다.
• 결과로 생성된 임베딩은 표준 NLP 기준 테스트와 인간 평가를 통해 해석 가능성과 의미적 품질을 평가한다.

실험 결과

연구 질문

• RQ1 외부 어휘 자원을 활용하여 단어 임베딩의 개별 차원에 해석 가능한 의미를 부여할 수 있는가?
• RQ2 해석 가능성은 어휘 자원에 명시적으로 포함된 단어를 초월하여 의미적으로 관련된 OOV 단어까지 얼마나 확장되는가?
• RQ3 제안된 방법은 표준 기준 테스트로 측정된 단어 임베딩 공간의 의미적 일관성을 유지하는가?
• RQ4 인간 평가자들은 수정된 임베딩이 표준 임베딩보다 해석 가능성이 높다고 어떻게 평가하는가?
• RQ5 단어 어울림 및 유사도 작업에서 성능이 저하되지 않도록 해석 가능성을 향상시킬 수 있는가?

주요 결과

• Roget의 동사사전에서 유도된 사전에 정의된 개념과 관련된 단어들을 정렬함으로써 단어 임베딩 차원에 해석 가능한 의미를 성공적으로 부여하였다.
• 정렬의 일반화 효과로 인해 동사사전의 단어를 초월하여 의미적으로 관련된 OOV 단어까지도 해석 가능성이 확장됨을 확인하였다.
• 단어 어울림 및 단어 유사도 테스트 결과, 임베딩 공간의 의미적 일관성이 유지되었으며, 표준 단어 임베딩 수준과 유사한 성능을 보였다.
• 인간 평가 결과, 수정된 임베딩이 표준 임베딩보다 유의미하게 더 해석 가능성이 높다고 평가되었다.
• 목적 함수에 추가적인 수정을 가미함으로써 해석 가능성이 효과적으로 향상되었으며, 학습된 벡터 공간의 품질에 영향을 주지 않았다.
• 정량적 결과는 표준 NLP 기준 테스트에서 최고 수준의 성능를 유지하면서도 단어 임베딩에 체계적으로 해석 가능성을 도입할 수 있음을 입증하였다.