[논문 리뷰] xSense: Learning Sense-Separated Sparse Representations and Textual Definitions for Explainable Word Sense Networks

Ting-Yun Chang, Ta-Chung Chi외 2명|arXiv (Cornell University)|2018. 09. 10.

Topic Modeling참고 문헌 19인용 수 18

한 줄 요약

xSense는 주어진 맥락에 따라 의미가 분리된 희소 표현을 학습하고, 어텐션 메커니즘과 RNN을 사용하여 인간이 읽을 수 있는 텍스트 정의를 생성하는 비지도 학습 프레임워크를 제안한다. 맥락 인지형 차원 선택을 통해 단어의 의미를 분리하고 해석 가능한 정의를 제공함으로써 BLEU 점수와 인간 평가에서 뛰어난 성능을 달성하며, 기존 자원보다 다섯 배 더 큰 고품질의 맥락-정의 데이터셋을 공개한다.

ABSTRACT

Despite the success achieved on various natural language processing tasks, word embeddings are difficult to interpret due to the dense vector representations. This paper focuses on interpreting the embeddings for various aspects, including sense separation in the vector dimensions and definition generation. Specifically, given a context together with a target word, our algorithm first projects the target word embedding to a high-dimensional sparse vector and picks the specific dimensions that can best explain the semantic meaning of the target word by the encoded contextual information, where the sense of the target word can be indirectly inferred. Finally, our algorithm applies an RNN to generate the textual definition of the target word in the human readable form, which enables direct interpretation of the corresponding word embedding. This paper also introduces a large and high-quality context-definition dataset that consists of sense definitions together with multiple example sentences per polysemous word, which is a valuable resource for definition modeling and word sense disambiguation. The conducted experiments show the superior performance in BLEU score and the human evaluation test.

연구 동기 및 목표

• 밀도 높은 단어 임베딩의 해석 가능성 격차를 해결하기 위해, 특히 하나의 벡터에 여러 의미가 혼합되는 다의어 문제를 다루기 위해.
• 맥락에서 특정 단어의 의미에 해당하는 차원이 무엇인지 식별하여 개별 벡터 차원의 직접적 해석을 가능하게 하기 위해.
• 맥락 정보를 기반으로 자연어 정의를 생성하여 모델의 투명성을 향상시키기 위해.
• 단어의 의미 분류 및 정의 모델링을 위한 대규모 고품질 맥락-의미-정의 삼중항 데이터셋을 구축하고 공개하기 위해.

제안 방법

• 희소 오토에인코드를 사용하여 대상 단어의 밀도 높은 임베딩을 고차원의 희소 벡터로 투영함으로써, 의미별로 특정된 차원 식별이 가능하도록 한다.
• 맥락에서 단어의 의미를 가장 잘 반영하는 희소 표현의 주요 차원을 선택하기 위해 어텐션 메커니즘을 적용한다.
• 선택된 희소 벡터와 맥락을 조건으로 하여 RNN 기반 디코더를 훈련시켜 인간이 읽을 수 있는 텍스트 정의를 생성한다.
• 생성된 정의가 정제된 사전 자원에서의 참값 정의와 일치하도록 맥락 인지형 손실 함수를 사용한다.
• 정성적 분석을 위해 의미 클러스터링의 일관성을 평가하기 위해 SIF(이동된 해석 특징) 문장 임베딩을 사용하여 최근접 이웃을 계산한다.
• 기존 자원보다 다섯 배 더 큰 크기의 새로운 고품질 데이터셋을 공개하며, 다의어 단어당 여러 예시 문장과 정의를 포함한다.

실험 결과

연구 질문

• RQ1 희소 단어 임베딩의 특정 차원 중 맥락에서 특정 의미에 해당하는 것을 식별할 수 있는가?
• RQ2 맥락 기반의 의미를 반영하는 정확하고 인간이 읽을 수 있는 텍스트 정의를 단어 임베딩에서 생성할 수 있는가?
• RQ3 BLEU 점수와 인간 평가 측면에서 모델의 정의 생성 성능은 기존 방법과 비교해 어떻게 되는가?
• RQ4 오직 맥락과 희소 표현만을 사용할 때, 다의어 단어의 여러 의미를 얼마나 잘 분리해 낼 수 있는가?

주요 결과

• xSense는 정의 생성의 자동 평가(BLEU 점수)와 인간 평가 모두에서 기존 방법을 능가하는 성능을 보였다.
• 모델는 희소 표현 내에서 맥락 기반의 특정 차원을 성공적으로 식별하여, 추가 학습 데이터가 없이도 의미 분리를 가능하게 하였다.
• 생성된 정의는 의미적으로 일관되며, 최근접 이웃과도 일치하여 일관된 의미 클러스터링을 나타내었다.
• 훈련 데이터의 클래스 불균형으로 인해 희귀 단어 의미에 대해 잘못된 정의를 생성하는 경우가 있으며, 이는 주로 희귀 의미에 대한 데이터 부족 때문이었다.
• 공개된 데이터셋은 기존 자원보다 다섯 배 더 많은 항목을 포함하고 있으며, 고품질의 일치된 예시 문장과 정의를 특징으로 한다.
• 오류 분석 결과, 최근접 이웃의 품질이 오류 전파의 원인이 될 수 있으며, 특히 SIF 임베딩이 맥락을 잘못 표현할 경우 더욱 두드러졌다.