[논문 리뷰] Gaussian Word Embedding with a Wasserstein Distance Loss

Chi Sun, Hang Yan외 2명|arXiv (Cornell University)|2018. 08. 21.

Topic Modeling참고 문헌 42인용 수 12

한 줄 요약

이 논문은 의미적 불확실성을 더 잘 포착하고 단어 유사도 및 함의 모델링을 향상시키기 위해 워샤르슈타인 거리 손실을 사용해 훈련된 가우시안 단어 임베딩 모델을 제안한다. 반면, ConceptNet을 활용한 준지도 학습과 비중첩 분포 비교에 워샤르슈타인 거리를 사용함으로써, 단어 유사도, 함의, 문서 분류 작업에서 점 기반 및 KL 발산 기반 기준 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Compared with word embedding based on point representation, distribution-based word embedding shows more flexibility in expressing uncertainty and therefore embeds richer semantic information when representing words. The Wasserstein distance provides a natural notion of dissimilarity with probability measures and has a closed-form solution when measuring the distance between two Gaussian distributions. Therefore, with the aim of representing words in a highly efficient way, we propose to operate a Gaussian word embedding model with a loss function based on the Wasserstein distance. Also, external information from ConceptNet will be used to semi-supervise the results of the Gaussian word embedding. Thirteen datasets from the word similarity task, together with one from the word entailment task, and six datasets from the downstream document classification task will be evaluated in this paper to test our hypothesis.

연구 동기 및 목표

• 점 벡터가 아닌 가우시안 분포로 표현함으로써 단어 표현을 향상시켜 더 풍부한 의미적 정보와 불확실성 정보를 포함시키는 것.
• 특히 유사하거나 비중첩 분포인 경우에 잘 정의되지 않는 KL 발산의 한계를 해결하기 위해, 분포 기반 단어 임베딩 학습에서 KL 발산의 문제점을 해결하는 것.
• 일반화 및 하류 작업 성능 향상을 위해 외부 지식인 ConceptNet을 활용해 훈련 과정을 준지도 학습하는 것.
• 워샤르슈타인 거리가 비대칭 관계인 함의와 같은 의미적 이질성 간의 의미적 거리 측정에 얼마나 효과적인지 확인하기 위해 손실 함수로 워샤르슈타인 거리를 사용하는 것의 효과를 평가하는 것.
• 여러 NLP 벤치마크에서 기존의 점 기반 및 분포 기반 단어 임베딩 방법보다 뛰어난 성능을 보이는 제안된 모델의 우수성을 입증하는 것.

제안 방법

• 학습 가능한 평균과 공분산 행렬을 갖는 다변량 가우시안 분포로 각 단어를 표현함으로써 불확실성 인식 가능한 의미 표현을 가능하게 한다.
• 두 다변량 가우시안 간의 워샤르슈타인 거리의 닫힌 형태 해를 주 손실 함수로 사용하여 임베딩 파라미터를 훈련시킨다.
• 외부 지식을 ConceptNet에서 확보하기 위해 하이브리드 에너지 함수를 정의: 'IsA'(초개념-하위개념) 관계에는 KL 발산, 기타 관계에는 워샤르슈타인 거리를 사용한다.
• 외부 관계를 ConceptNet에서 확보한 자료를 추가적인 맥락으로 간주하여 임베딩 공간을 정규화하는 준지도 학습 전략을 적용한다.
• 단어 유사도, 함의, 외부 관계 손실의 조합을 사용해 확률적 경사 하강법으로 모델을 최적화한다.
• Word Mover's Distance(WMD)를 평가 지표로 사용해 문서 분류와 같은 하류 작업에서 훈련된 임베딩을 활용한다.

실험 결과

연구 질문

• RQ1 워샤르슈타인 거리 손실을 사용해 훈련된 가우시안 단어 임베딩 모델이 점 기반 또는 KL 발산 기반 모델보다 의미적 불확실성과 유사도를 더 잘 포착할 수 있는가?
• RQ2 분포가 최소 또는 전혀 겹치지 않을 경우, 워샤르슈타인 거리의 사용이 비대칭 의미 관계(예: 함의) 모델링에 어떻게 기여하는가?
• RQ3 ConceptNet에서의 외부 지식 통합이 유사도 및 함의 작업에서 분포 기반 단어 임베딩의 성능에 얼마나 기여하는가?
• RQ4 제안된 모델이 문서 분류를 포함한 다양한 하류 작업에서 최첨단 기준 모델보다 일관된 성능 향상을 이끌어낼 수 있는가?
• RQ5 다양한 유형의 외부 관계에 대해 다른 에너지 함수를 선택할 수 있는 모델의 유연성이 단일 손실 기반 접근보다 더 높은 성능을 낼 수 있는가?

주요 결과

• WDG 모델(Wasserstein Distance Gaussian)은 6개 문서 분류 데이터셋 중 5개에서 스위프그램(SG)과 표준 가우시안 임베딩(W2G)보다 뛰어난 성능을 보였으며, 평균 테스트 오차율은 SG의 17.5%와 W2G의 16.1% 대비 17.8%를 기록했다.
• 단어 유사도 작업에서는 최첨단 성능을 달성했으며, 이는 표현의 분산 덕분에 더 풍부한 의미 커버리지가 가능해졌기 때문이다.
• 단어 함의 작업에서 모델은 뚜렷한 향상 효과를 보였으며, 워샤르슈타인 거리를 에너지 함수로 사용함으로써 비대칭 관계를 더 잘 모델링할 수 있었다.
• 단어 임베딩의 시각화 결과에서 가우시안 원의 크기가 의미 커버리지와 상관이 있음을 확인했으며, 이는 모델이 불확실성과 의미의 범위를 효과적으로 표현할 수 있음을 시각적으로 확인했다.
• ‘IsA’ 관계에는 KL 발산, 기타 관계에는 워샤르슈타인 거리를 사용하는 것이 함의 작업에서 더 높은 성능을 내었으며, 이는 다양한 의미 관계에 맞는 손실 함수의 선택이 중요하다는 것을 확인한다.
• 모델의 이점은 특히 의미적 이해가 높은 요구를 필요로 하는 작업, 즉 유사도 및 함의 작업에서 두드러지며, 문서 분류 작업에서는 중간 정도의 성능 향상이 있었고, 이는 맥락 통합을 통한 향상 여지가 있음을 시사한다.