[논문 리뷰] WordRank: Learning Word Embeddings via Robust Ranking

Shihao Ji, Hyokun Yun외 3명|arXiv (Cornell University)|2015. 06. 09.

Topic Modeling참고 문헌 32인용 수 4

한 줄 요약

WordRank는 단어 표현 학습을 강력한 순위 매기기 문제로 재정의하는 새로운 단어 임베딩 프레임워크를 제안한다. DCG 유사 순위 손실을 사용하여 주의 메커니즘과 노이즈에 대한 강건성을 자연스럽게 통합한다. 단어 유사도 및 유추 과제에서 최신 기술 수준의 성능을 달성하며, 특히 데이터가 적은 환경에서 뛰어난 성능을 보인다. 1700만 토큰으로도 72억 토큰으로 훈련된 모델과 유사한 성능을 달성한다.

ABSTRACT

Embedding words in a vector space has gained a lot of attention in recent years. While state-of-the-art methods provide efficient computation of word similarities via a low-dimensional matrix embedding, their motivation is often left unclear. In this paper, we argue that word embedding can be naturally viewed as a ranking problem due to the ranking nature of the evaluation metrics. Then, based on this insight, we propose a novel framework WordRank that efficiently estimates word representations via robust ranking, in which the attention mechanism and robustness to noise are readily achieved via the DCG-like ranking losses. The performance of WordRank is measured in word similarity and word analogy benchmarks, and the results are compared to the state-of-the-art word embedding techniques. Our algorithm is very competitive to the state-of-the- arts on large corpora, while outperforms them by a significant margin when the training set is limited (i.e., sparse and noisy). With 17 million tokens, WordRank performs almost as well as existing methods using 7.2 billion tokens on a popular word similarity benchmark. Our multi-node distributed implementation of WordRank is publicly available for general usage.

연구 동기 및 목표

• 기존 단어 임베딩 방법들이 공현 빈도를 직접 최적화하는 데서 비롯되는 한계를 해결하기 위해, 노이즈에 대한 내재된 강건성과 주의 메커니즘이 부족하다.
• 단어 임베딩을 순위 매기기 문제로 재정의하여, 단어 유사도 및 유추 평가 지표와 더 자연스럽게 일치시킨다.
• 훈련 데이터가 제한적이거나 노이즈가 많을 때도 높은 성능을 유지할 수 있는 방법을 개발한다. 기존 표준 방법들은 이와 같은 상황에서 성능이著しく 떨어지기 때문이다.
• 공개된 다중 노드 분산 구현을 통해 효율적이고 확장 가능한 훈련을 가능하게 한다. 커뮤니티가 사용할 수 있도록 공개되어 있다.

제안 방법

• WordRank는 단어와 문맥 간의 관계를, 공현 관련성에 따라 문맥 단어를 순위 매김함으로써 모델링한다. 목표는 의미적으로 유사한 문맥을 더 높은 순위로 배치하는 것이다.
• 순서의 상대적 정렬을 최적화할 수 있도록, 단조증가하는 미분 가능하고 볼록한 순위 손실 함수 ρ(rank(w,c))를 사용한다. 절대값이 아닌 상대적 순서 최적화가 가능하다.
• 순위 손실은 상위 순위를 받는 문맥에 초점을 맞추고 덜 관련성이 높은 문맥은 가중치를 낮추므로, 내재된 주의 메커니즘을 제공한다.
• 상대적 순위 순서에 집중함으로써 노이즈에 강건해지며, 작은 또는 노이즈가 많은 코퍼스에서 부작위적인 공현 빈도에 민감도를 낮춘다.
• 분산 프레임워크를 사용하여 대규모 코퍼스에서 효율적인 훈련이 가능하며, 최적화에 필요한 하이퍼파라미터 조정이 최소화된다.
• WordRank는 기준 모델들(예: GloVe 및 word2vec)과 동일한 공현 행렬을 사용하므로, 공정한 비교가 가능하다. 다만, 로그우도나 PMI가 아닌 순위 목적 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 단어 표현 학습을 단어 유사도 및 유추 평가 지표와 더 잘 일치시키기 위해, 순위 매기기 문제로 재정의할 수 있는가?
• RQ2 순위 기반 목적 함수는 특히 희소하거나 노이즈가 많은 훈련 데이터에서 단어 유사도 및 유추 과제 성능을 향상시키는가?
• RQ3 특수한 아키텍처 수정 없이도 순위 손실이 주의 메커니즘과 노이즈에 대한 강건성을 자연스럽게 유도할 수 있는가?
• RQ4 WordRank는 다양한 코퍼스 크기에서 word2vec 및 GloVe와 같은 최신 기술 수준의 방법과 비교해 성능가능한가?

주요 결과

• 단지 1700만 토큰으로만 훈련해도 WordRank는 72억 토큰으로 훈련된 모델과 유사도 벤치마크에서 거의 동일한 성능을 달성한다.
• 유사도 과제에서 WordRank는 모든 코퍼스 크기에서 word2vec과 GloVe를 일관되게 능가한다. 특히 데이터가 적은 환경에서 두드러진 성능을 보인다.
• 유추 과제에서는 코퍼스 크기가 클 경우 word2vec과 GloVe와 경쟁 가능한 성능을 보이며, 작은 설정에서는 여전히 우위를 점한다.
• 6개의 유사도 데이터셋 중 5개와 Google 유추 데이터셋의 2개 서브태스크 중 1개에서 WordRank가 두 기준 모델을 모두 능가한다.
• WordRank 임베딩의 t-SNE 시각화 결과는 '고양이'의 의미적(예: 고양이, 새끼 고양이) 및 문법적(예: 목줄, 목줄을 쥐다) 이웃 단어들이 의미 있는 군집을 이룬다.
• WordRank의 다중 노드 분산 구현은 공개되어 있어 확장 가능한 구현과 재현 가능성을 보장한다.