[論文レビュー] WordRank: Learning Word Embeddings via Robust Ranking

Shihao Ji, Hyokun Yun+3 more|arXiv (Cornell University)|Jun 9, 2015

Topic Modeling参考文献 32被引用数 4

ひとこと要約

WordRankは、DCGに類似したランキング損失を用いて、ノイズに強く、アテンションを自然に組み込むことができる、画期的な単語埋め込みフレームワークを提案する。この手法は、単語類似度および類推タスクにおいて最先端の性能を達成しており、特にデータが少ない状況下でも顕著な効果を示す。1700万トークンでの学習で、72億トークンで学習されたモデルと同等の性能を達成している。

ABSTRACT

Embedding words in a vector space has gained a lot of attention in recent years. While state-of-the-art methods provide efficient computation of word similarities via a low-dimensional matrix embedding, their motivation is often left unclear. In this paper, we argue that word embedding can be naturally viewed as a ranking problem due to the ranking nature of the evaluation metrics. Then, based on this insight, we propose a novel framework WordRank that efficiently estimates word representations via robust ranking, in which the attention mechanism and robustness to noise are readily achieved via the DCG-like ranking losses. The performance of WordRank is measured in word similarity and word analogy benchmarks, and the results are compared to the state-of-the-art word embedding techniques. Our algorithm is very competitive to the state-of-the- arts on large corpora, while outperforms them by a significant margin when the training set is limited (i.e., sparse and noisy). With 17 million tokens, WordRank performs almost as well as existing methods using 7.2 billion tokens on a popular word similarity benchmark. Our multi-node distributed implementation of WordRank is publicly available for general usage.

研究の動機と目的

• 既存の単語埋め込み手法が共起回数を直接最適化するため、ノイズに弱く、アテンション機構を内蔵していないという限界を是正する。
• 単語埋め込みをランキング問題として再定式化することで、単語類似度や類推といった評価指標とより自然に整合させる。
• 訓練データが限られている、またはノイズが多い状況下でも高い性能を維持できる手法を開発する。標準的手法はこの状況で著しく性能を落とすが、本手法はその問題を緩和する。
• コミュニティ利用を想定した公開済みのマルチノード分散実装により、効率的かつスケーラブルな学習を可能にする。

提案手法

• WordRankは、共起関連性に基づいて文脈語をランキングすることで、単語と文脈の関係をモデル化する。目的は意味的に類似した文脈を上位にランク付けすることである。
• 微分可能で凹型のランキング損失関数 ρ(rank(w,c)) を用い、単調増加性を持つことで、絶対値ではなく相対順序の最適化が可能になる。
• ランキング損失は、上位にランクされた文脈を強調し、関連性の低い文脈を低減することで、自然にアテンション機構を実現する。
• 相対順序に注目することで、小規模またはノイズの多いコーパスにおける誤った共起に過敏にならず、ノイズに強い特性を有する。
• 大規模コーパスにおける効率的学習を実現するため、分散フレームワークを用いて実装されており、最小限のハイパーパrameterチューニングで運用可能である。
• WordRankは、ベースライン手法（例：GloVe や word2vec）と同一の共起行列を用いるため、公平な比較が可能である。ただし、対数尤度やPMIの代わりにランキング目的関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 単語表現学習を、単語類似度や類推評価指標とより自然に整合するランキング問題として再定式化できるか？
• RQ2 ランキングベースの目的関数は、特にデータがスパースまたはノイズが多い状況下でも、類似度および類推タスクの性能を向上させることができるか？
• RQ3 明示的なアーキテクチャ変更を加えずに、ランキング損失が自然にアテンションとノイズ耐性を実現できるか？
• RQ4 WordRankは、語彙量が異なるコーパスサイズの下で、word2vec や GloVe といった最先端手法と比較して、どの程度の性能を示すか？

主な発見

• わずか1700万トークンでの学習でも、WordRankは72億トークンで学習されたモデルと同等の性能を、単語類似度ベンチマークで達成している。
• 単語類似度タスクにおいて、WordRankは全コーパスサイズでword2vecおよびGloVeを常に上回っており、特にデータが少ない状況下で顕著な優位性を示している。
• 単語類推タスクでは、コーパスサイズが大きい場合にはword2vecやGloVeと同等の性能を発揮するが、小規模な設定では依然として優位性を維持している。
• WordRankは6つの単語類似度データセットのうち5つ、およびGoogle類推データセットの2つのサブタスクのうち1つで、両方のベースラインを上回っている。
• WordRank埋め込みのt-SNE可視化では、「猫」の意味的（例：feline, kitten）および文法的（例：leashed, leashes）な近傍語が意味的に意味のあるクラスタを形成している。
• WordRankのマルチノード分散実装は公開済みであり、スケーラブルな展開と再現性を可能にしている。