[논문 리뷰] Spherical Text Embedding

Meng Yu, Jiaxin Huang외 5명|arXiv (Cornell University)|2019. 11. 04.

Topic Modeling인용 수 52

한 줄 요약

이 연구는 단위 구면에서 두 단계 생성 모델과 리만 최적화를 사용하여 단어 및 단락 임베딩을 직접 학습하고, 단어 유사도 및 문서 클러스터링에서 최첨단 결과를 달성합니다.

ABSTRACT

Unsupervised text embedding has shown great power in a wide range of NLP tasks. While text embeddings are typically learned in the Euclidean space, directional similarity is often more effective in tasks such as word similarity and document clustering, which creates a gap between the training stage and usage stage of text embedding. To close this gap, we propose a spherical generative model based on which unsupervised word and paragraph embeddings are jointly learned. To learn text embeddings in the spherical space, we develop an efficient optimization algorithm with convergence guarantee based on Riemannian optimization. Our model enjoys high efficiency and achieves state-of-the-art performances on various text embedding tasks including word similarity and document clustering.

연구 동기 및 목표

• 유클리드 공간에서의 훈련과 구면 사용 간의 불일치를 해결하기 위해 구면 공간에서 학습.
• 구면에서의 두 단계 생성 과정을 통해 단어 및 단락 임베딩을 공동으로 학습.
• 구면 임베딩에 대한 수렴 보장이 있는 확장 가능한 최적화 알고리즘 개발.
• 단어 유사도, 문서 클러스터링 및 문서 분류 작업에서 최첨단 성능 시연.

제안 방법

• 단위 구면에서의 두 단계 생성 모델 제안: 중심 단어는 단락 의미에서 생성되고, 그 주위 맥락 단어들은 중심 단어를 조건으로 생성된다.
• 구면에서의 중심-맥락 및 단락-단어 관계를 포착하기 위해 von Mises–Fisher 분포를 사전으로 모델링.
• 음의 샘플링과 최대-마진 손실을 사용해 p(v,u|d)와 음수 샘플을 최적화.
• 구면에서의 제약 최적화로 학습을 설정하고 접선 공간으로의 투영과 지수 매핑(또는 재접합 변형)을 통한 업데이트로 리만 SGD 적용.
• 구면에서의 방향 메트릭으로 코사인 유사도를 도입하고 단위 노름 제약을 유지하는 업데이트 규칙 도출.

실험 결과

연구 질문

• RQ1 텍스트 임베딩을 구면 공간(방향성 공간)에서 직접 학습하여 학습과 사용 간의 차이를 해소할 수 있을까?
• RQ2 구면 생성 모델로 학습된 단어 및 문서 임베딩이 유클리드 기반 임베딩보다 유사도 및 클러스터링 작업에서 우수한가?
• RQ3 대규모 말뭉치에서 구면 임베딩을 학습하기에 적합한 확장 가능하고 수렴하는 최적화 절차가 있는가?
• RQ4 구면 공간에서의 단어-단어 및 단어-문단 동시 출현 정보를 활용하면 클러스터링 및 분류와 같은 하위 작업이 향상되는가?

주요 결과

• JoSE (Joint Spherical Embedding)는 WordSim353, MEN, SimLex999에서 유클리드 기준선보다 더 높은 단어 유사도 점수를 달성한다.
• JoSE는 20 Newsgroups에서 여러 기준점들에 대해 더 우수한 문서 클러스터링 성능을 보인다.
• JoSE가 k-NN 분류를 활용하여 20 Newsgroups 및 Movie Review 데이터셋에서 가장 높은 Macro-F1 및 Micro-F1를 달성했다.
• JoSE는 위키피디아 규모의 말뭉치를 대상으로 여러 기준선 대비 각 반복의 학습 효율성이 우수하다.