[論文レビュー] Word Mover's Embedding: From Word2Vec to Document Embedding

Lingfei Wu, Ian En-Hsu Yen+6 more|arXiv (Cornell University)|Oct 30, 2018

Topic Modeling参考文献 50被引用数 18

ひとこと要約

本稿では、事前学習済み単語ベクトルを用いて、語の意味的空間における整列をWMD（Word Mover's Distance）を活用することで、文書および文の埋め込みを生成する、新しい非教師あり手法であるWord Mover's Embedding（WME）を提案する。WMEは、WMDから導出される正定値カーネルのランダム特徴量近似を用いることで、効率的でスケーラブルかつ高精度な文書表現を実現し、9つのテキスト分類および22のテキスト類似度ベンチマークで最先端の手法を上回る性能を示す。また、WMDベースのKNNに比べて、桁違いの高速化を達成している。

ABSTRACT

While the celebrated Word2Vec technique yields semantically rich representations for individual words, there has been relatively less success in extending to generate unsupervised sentences or documents embeddings. Recent work has demonstrated that a distance measure between documents called \emph{Word Mover's Distance} (WMD) that aligns semantically similar words, yields unprecedented KNN classification accuracy. However, WMD is expensive to compute, and it is hard to extend its use beyond a KNN classifier. In this paper, we propose the \emph{Word Mover's Embedding } (WME), a novel approach to building an unsupervised document (sentence) embedding from pre-trained word embeddings. In our experiments on 9 benchmark text classification datasets and 22 textual similarity tasks, the proposed technique consistently matches or outperforms state-of-the-art techniques, with significantly higher accuracy on problems of short length.

研究の動機と目的

• 個々の単語のWord2Vecの成功にもかかわらず、効果的な非教師あり文書および文の埋め込み手法の不足に応えること。
• WMD（Word Mover's Distance）の高い計算コストと、KNNおよびK-meansに限定された適用範囲という制限を克服し、一般の機械学習モデルと互換性がないことに対処すること。
• 事前学習済み単語埋め込みを固定長かつ意味を保持する文書埋め込みに変換できる、柔軟で効率的で汎用性の高いフレームワークを構築すること。
• KNN分類の範囲を超えて、WMDの意味的整列機能を幅広い下流タスクに活用できるようにすること。

提案手法

• 与えられた分布からのランダムな文書にWMDを適用し、その結果得られる無限次元の特徴マップを用いて正定値カーネルを構築する。
• WMDに基づくカーネルに対してランダム特徴量近似を適用し、正確なカーネル計算を近似する低次元連続ベクトル表現（WME）を導出する。
• 得られたWMEベクトルを文または文書の固定長埋め込みとして用い、線形分類器などの標準的な機械学習モデルとの互換性を確保する。
• WMD計算のための意味的空間として、事前学習済み単語埋め込み（例：Word2Vec、GloVe）を活用し、文書間で意味的に類似する語が整列されることを保証する。
• TF-IDF重み付けをWMEフレームワークに統合し、重要な語を強調することで、短いテキストタスクにおける性能を向上させる。
• Word2VecおよびWMDを、他の単語埋め込みや距離計測手法（例：S-WMD、GloVe）に置き換え可能であるように設計することで、完全に並列処理可能かつ拡張性のある仕組みを実現する。

実験結果

リサーチクエスチョン

• RQ1 計算コストの高いWMDを、一般の機械学習モデルに適したスケーラブルで固定長の文書埋め込みに変換することは可能か？
• RQ2 ランダム特徴量近似を用いてWMDから導出されるカーネルが、意味的構造を保持しつつ効率的な推論を可能にするか？
• RQ3 提案されたWord Mover's Embedding（WME）は、既存の非教師ありおよび教師あり手法と比較して、テキスト分類およびテキスト類似度タスクで最先端の性能を達成できるか？
• RQ4 WMEは、計算コストを大幅に削減しながら、KNN-WMDの精度を上回るか、同等の精度を達成できるか？

主な発見

• WMEは、9つのベンチマークテキスト分類データセットにおいて一貫して最先端の手法を上回るか同等の性能を示し、特に短いテキストタスクで顕著に高い精度を達成している。
• 22のテキスト類似度タスクにおいて、LSTM や RNN といった強力な教師ありモデルと同等の性能を示し、Skip-Thought や nbow といった非教師あり手法よりも、ピアソン相関係数で10%～33%高いスコアを記録している。
• WMEはKNN-WMDと同等のテスト精度を達成するが、文書長さに関して計算コストを立方乗から線形に、サンプル数に関しては二次関数から線形に削減している。
• WMEはSTSB'12ではSIF法を上回り、他のSTSBタスクでも微調整なしで競争力のある性能を示しており、強力な一般化能力を示している。
• 本手法は非常に効率的かつスケーラブルであり、完全に並列処理可能で、KNN分類の範囲を超えた多様なNLPパイプラインへの導入が可能である。