[논문 리뷰] Word Embedding Visualization Via Dictionary Learning

Juexiao Zhang, Yubei Chen외 2명|arXiv (Cornell University)|2019. 10. 09.

Topic Modeling참고 문헌 33인용 수 8

한 줄 요약

이 논문은 사전 학습된 단어 임베딩을 해석 가능하고 의미 있는 요소들로 분해하기 위해 사전 학습 기반의 방법을 제안하며, 이는 단어 유추 작업에서의 성능 향상과 함께 시각화를 가능하게 한다. 단어 벡터에서 희소성과 낮은 질량을 가지는 성분을 학습함으로써, 은닉된 의미적 및 문법적 구조를 드러내어, 다양한 단어 임베딩 모델과 유추 하위 작업에서 정확도를 크게 향상시킨다. 요소 그룹 선택 기반의 방법을 통해 성능을 향상시킨다.

ABSTRACT

Co-occurrence statistics based word embedding techniques have proved to be very useful in extracting the semantic and syntactic representation of words as low dimensional continuous vectors. In this work, we discovered that dictionary learning can open up these word vectors as a linear combination of more elementary word factors. We demonstrate many of the learned factors have surprisingly strong semantic or syntactic meaning corresponding to the factors previously identified manually by human inspection. Thus dictionary learning provides a powerful visualization tool for understanding word embedding representations. Furthermore, we show that the word factors can help in identifying key semantic and syntactic differences in word analogy tasks and improve upon the state-of-the-art word embedding techniques in these tasks by a large margin.

연구 동기 및 목표

• 연속적인 단어 임베딩 내부 구조를 시각화하고 해석할 수 있는 방법을 개발함으로써, 비해석 가능한 벡터 차원으로 인해 일반적으로 투명한 단어 임베딩의 투명성을 해소하고자 한다.
• 수동적인 단어 쌍 선택을 피하기 위해, 단어 벡터의 근본적인 의미적 및 문법적 요소를 자동으로 발견하고자 한다.
• 코사인 유사도를 넘어서, 학습된 요소들을 선택 기준으로 활용하여 단어 유추 성능을 향상시키고자 한다.
• 발견된 요소들이 신뢰할 수 있는 의미적 차이를 반영하고 있음을 검증함으로써, 모델의 편향과 오류를 진단할 수 있도록 하고자 한다.
• 기존 벤치마크를 초월하여, 새로운 더 세밀한 단어 유추 작업을 구성하는 데에 단어 요소들이 기초가 될 잠재력을 탐색하고자 한다.

제안 방법

• 비음수 희소 코딩(NSC)을 재구성하여 연속적이고 이진이 아닌 계수를 允허함으로써, 더 민첩하고 의미 있는 요소 표현을 가능하게 한다.
• 유사한 요소들을 고차원 의미 카테고리로 묶기 위해 스펙트럴 클러스터링을 적용한다. 예를 들어 '여성', '과일', 또는 '모바일&IT'와 같은 카테고리.
• 여러 모델(예: Word2Vec, FastText, GloVe)의 단어 벡터에서 사전 학습을 통해 공통된 기본 요소 집합을 추출한다.
• 학습된 요소들을 사용하여 각 단어 벡터를 활성 요소의 선형 조합으로 분해하고, 각 요소에 대응하는 가중치를 할당한다.
• 요소 그룹 선택 방법을 도입한다: 임베딩 공간 내 거리 외에도 관련 의미적 요소 그룹에서의 높은 활성도를 기반으로 답을 선택한다.
• 예측된 단어가 기대되는 의미적 요소 프로필과 일치하는지 확인함으로써, 단어 유추 작업에서의 오류를 진단하고 수정한다.

실험 결과

연구 질문

• RQ1 사전 학습 기반의 방법이 사전 학습된 단어 임베딩에서 자동으로 해석 가능한 의미적 및 문법적 요소를 발견할 수 있는가?
• RQ2 학습된 요소들이 이전에 수동으로 점검된 바 있는 의미적인 개념과 부합하는가?
• RQ3 요소 기반의 선택이 표준 벡터 유사도를 넘어서 단어 유추 작업의 성능을 향상시킬 수 있는가?
• RQ4 발견된 요소들이 다양한 단어 임베딩 모델과 트레이닝 코퍼스 간에 안정적인가?
• RQ5 요소 분해가 단어 임베딩 모델의 체계적인 편향이나 오류를 드러내고 수정하는 데 기여할 수 있는가?

주요 결과

• 사전 학습 기반의 방법은 '여성', '과일', '모바일&IT', '생물체' 등 명확한 의미적 및 문법적 의미를 지닌 총 145개의 해석 가능한 단어 요소를 성공적으로 추출하였다.
• 이 방법을 통해 단어 벡터를 요소들의 선형 조합으로 의미적으로 유의미하게 시각화할 수 있으며, 예를 들어 '사과'는 '과일'(0.16), '디저트'(0.09), '생물체'(0.11)로 구성됨을 나타낸다.
• 요소 그룹 선택을 적용함으로써, 단어 유추 작업의 성능이 평균 28% 향상되었으며, '이념'이나 '직업'과 같은 하위 작업에서는 20~30%포인트의 성능 향상을 기록하였다.
• 이 방법은 어려운 유추 유형에서도 오류율을 감소시켰다. 예를 들어 '아내 - 남편 + 경찰관'의 경우, 요소 기반 필터링을 통해 정확히 '여자 경찰관'을 예측할 수 있었다.
• 이 방법은 다양한 모델에 일반화 가능하다. FastText와 GloVe 모두 일관된 성능 향상을 보였으며, FastText는 요소 선택 후 '이념' 하위 작업에서 85.50%의 정확도를 달성하였다.
• 요소 분해를 통해 단어 벡터가 기본적인 의미적 구성 요소의 희소 조합으로 이루어져 있음을 확인하였으며, 이는 '의견 원자' 이론과 의미 요소 이론을 지지하는 결과이다.