[논문 리뷰] Inducing and Embedding Senses with Scaled Gumbel Softmax

Fenfei Guo, Mohit Iyyer외 1명|arXiv (Cornell University)|2018. 04. 22.

Neural Networks and Applications참고 문헌 79인용 수 3

한 줄 요약

이 논문은 스케일된 구름벨-소프트맥스를 사용하여 이산적이고 해석 가능한 어휘의미를 유도하는 미분 가능한 어텐션 기반 모델인 Gumbel Attention for Sense Induction (gasi)을 제안한다. 기존 방법들과 달리, gasi는 경쟁적인 단어 유사도 점수를 달성하면서도 더 일관되고 인간이 이해하기 쉬운 의미 표현을 생성한다. 이는 새로운 인간 중심의 일관성 평가를 통해 검증되었다.

ABSTRACT

Methods for learning word sense embeddings represent a single word with multiple sense-specific vectors. These methods should not only produce interpretable sense embeddings, but should also learn how to select which sense to use in a given context. We propose an unsupervised model that learns sense embeddings using a modified Gumbel softmax function, which allows for differentiable discrete sense selection. Our model produces sense embeddings that are competitive (and sometimes state of the art) on multiple similarity based downstream evaluations. However, performance on these downstream evaluations tasks does not correlate with interpretability of sense embeddings, as we discover through an interpretability comparison with competing multi-sense embeddings. While many previous approaches perform well on downstream evaluations, they do not produce interpretable embeddings and learn duplicated sense groups; our method achieves the best of both worlds.

연구 동기 및 목표

• 다중의미 단어 임베딩에서 컴퓨터 중심 평가와 인간 해석 가능성 사이의 격차를 해소하기 위해.
• 의미 표현이 인간이 단어 의미를 이해하는 데 어떻게 기여하는지 측정할 수 있는 새로운 평가 지표를 개발하기 위해.
• 하나의 자연어 처리 성능이 아닌 인간 사용자를 우선시하는 해석 가능성과 일관성을 고려한 모델을 설계하기 위해.
• 간단한 이산적 의미 유도 모델이 복잡한 컨텍스트 기반 모델보다 인간이 참여하는 언어 작업에서 더 나은 성능을 낼 수 있음을 입증하기 위해.
• 의미 유도를 인간이 사용할 수 있는 의미 목록과 일치시킴으로써 표현 학습과 어휘 의미론 사이의 괴리를 메우기 위해.

제안 방법

• 각 단어의 문맥 임베딩 C와 의미 임베딩 S를 동시에 학습하기 위해 워드2벡 스타일의 목표 함수를 사용한다.
• 온도 스케일링을 적용한 구름벨-소프트맥스를 사용하여 K개의 후보 의미에서 이산적 의미를 미분 가능한 방식으로 샘플링한다.
• 지역적 문맥에 기반하여 가장 관련성이 높은 의미를 선택하는 어텐션 메커니즘을 적용하여 딱딱하고 해석 가능한 의미 할당을 가능하게 한다.
• 코사인 거리 임계값을 사용한 프루닝 전략을 도입하여 중복되거나 유사한 의미를 제거한다.
• 모든 가능한 의미에 대해 주변 단어의 가능도 목표 함수를 최적화하여 모델을 학습시킨다.
• 소프트 어텐션 기반 베이스라인(sasi)을 도입하여 이산적 구름벨-소프트맥스 접근의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 미분 가능한 이산적 의미 유도 모델이 기존 모델보다 인간에게 더 해석 가능한 의미 표현을 생성할 수 있는가?
• RQ2 컴퓨터 중심 평가(예: 단어 유사도)와 어휘의미의 인간 중심 해석 가능성 간의 상관관계는 어떠한가?
• RQ3 더 단순한 이산적 의미 선택을 하는 어텐션 기반 모델이 인간이 참여하는 작업에서 더 복잡한 엔드 투 엔드 컨텍스트 기반 모델보다 성능이 뛰어나게 되는가?
• RQ4 온도 스케일링을 적용한 구름벨-소프트맥스는 유도된 어휘의미의 일관성과 구별성에 얼마나 기여하는가?
• RQ5 어떻게 하면 의미 유도 모델을 의미 목록 구성 및 의미 변화 분석과 같은 언어학 작업과 더 잘 맞출 수 있는가?

주요 결과

• 제안된 일관성 평가 방법은 기존의 다중의미 모델이 컴퓨터 중심 성능은 뛰어나지만 인간이 이해하기 어려운 의미 표현을 생성한다는 점을 명확히 드러냈다.
• gasi는 문맥 기반 및 비문맥 기반 단어 유사도 벤치마크에서 경쟁적인 성능을 달성했으며, 특히 해석 가능성에서 기존 모델을 능가했다.
• 새로운 인간 중심 일관성 지표로 측정한 결과, gasi가 존재하는 방법들보다 더 명확하고 일관성 있는 의미 표현을 생성했다.
• 모델이 미분 가능한 구름벨-소프트맥스를 사용함으로써 딱딱한 이산적 의미 선택을 유지하면서도 전체 학습의 미분 가능성을 확보하여 해석 가능성 향상을 이뤘다.
• 의미 임베딩 간 코사인 거리 기반 프루닝 전략이 중복되거나 동일한 의미를 효과적으로 제거하여 의미의 명확성을 향상시켰다.
• 결과적으로 향후 의미 유도 모델 개발은 순수하게 자동 평가 지표가 아닌 인간 중심의 작업 특화 지표에 따라 이끌려야 한다는 점을 시사한다.