[論文レビュー] Sketching Word Vectors Through Hashing

Behrang QasemiZadeh, Laura Kallmeyer|arXiv (Cornell University)|May 11, 2017

Music and Audio Processing参考文献 52被引用数 4

ひとこと要約

本稿では、ハッシュベースのランダムプロジェクションを用いた、高速で低複雑性の単語ベクトル学習手法を提案する。文脈語はハッシュ関数を用いてランダムなバケツに割り当てられ、これらのバケツとの共起頻度を数えることで単語ベクトルが構築される。この手法は、GloVe や CBOW といったニューラルネットワークベースの手法と同等の性能を示し、より高速ではるかに少ない計算量を要する。

ABSTRACT

We propose a new fast word embedding technique using hash functions. The method is a derandomization of a new type of random projections: By disregarding the classic constraint used in designing random projections (i.e., preserving pairwise distances in a particular normed space), our solution exploits extremely sparse non-negative random projections. Our experiments show that the proposed method can achieve competitive results, comparable to neural embedding learning techniques, however, with only a fraction of the computational complexity of these methods. While the proposed derandomization enhances the computational and space complexity of our method, the possibility of applying weighting methods such as positive pointwise mutual information (PPMI) to our models after their construction (and at a reduced dimensionality) imparts a high discriminatory power to the resulting embeddings. Obviously, this method comes with other known benefits of random projection-based techniques such as ease of update.

研究の動機と目的

• 複雑な最適化を回避するシンプルで効率的なニューラルネットワークベースでない単語表現学習の代替手法を開発すること。
• ハッシングによるランダムプロジェクションが、単語の共起における言語的意味のある分布的パターンを捉えられるかどうかを検討すること。
• 本手法の性能を、内在的（例：語の類縁性）および外在的（例：センチメント分類）NLP タスクの両方で評価すること。
• 従来の手法と比較して、計算コストとメモリ使用量を著しく削減しつつ、競争力のある結果を達成できることを示すこと。

提案手法

• 各文脈語をハッシュ関数を用いてランダムなバケツに割り当てることで単語ベクトルを構築し、特にハッシュコードの絶対値を所望のベクトル次元 $ m $ で割った剰余をインデックスとして用いる。
• 語 $ w $ に対して、サイズ $ m $ のゼロベクトルを初期化し、$ w $ と共起した各文脈語 $ c $ について、$ d = \text{abs}(\text{hash}(c) \mod m) $ のインデックス成分をインクリメントする。
• 乗算と加法の分配法則を活用し、ランダムプロジェクションによる次元削減の一種としてこのプロセスを定式化する。
• ハッシュ関数としてジェイキンスハッシュを採用し、短い語に対して低い衝突率と優れた分布特性を有する。
• ベクトル構築後、頻度の正規化と判別力の向上を目的として PPMI 重み付けを適用し、下流タスクでの性能向上を図る。
• アルゴリズムは並列処理に強く、ストリーム処理にも適しており、最適化問題を解く必要なく、オンライン更新や分散計算が効率的に行える。

実験結果

リサーチクエスチョン

• RQ1 シンプルなハッシングベースのランダムプロジェクション手法が、内在的および外在的評価の両方で最先端のニューラルネットワークベース手法と同等の単語ベクトルを生成できるか？
• RQ2 文のセンチメント分類などの下流 NLP タスクにおいて、本手法の性能は GloVe や CBOW と比べてどの程度か？
• RQ3 従来の共起頻度カウントやニューラルネットワーク学習と比較して、本手法は計算コストとメモリ使用量をどの程度削減できるか？
• RQ4 PPMI 重み付けの適用が、本フレームワークにおける学習済み単語ベクトルの品質を顕著に向上させるか？
• RQ5 ベクトル次元が、さまざまなニューラルネットワークアーキテクチャにおいて CBOW や GloVe と比較して、本手法の性能にどの程度の影響を及ぼすか？

主な発見

• 本手法は Large Movie Review Dataset における外在的評価で GloVe を上回り、CNN モデルを用いた 1000次元ベクトル表現で F1 スコア 86.54 を達成した。
• 1000次元ベクトルを用いた場合、CNN モデルでは本手法が CBOW を上回った（F1 スコア 86.54 対 85.14）。一方、RNN モデルでは低次元で CBOW が依然として優れている。
• ランダムインデクシングと比較して、本手法ははるかに高速で、共起度ごとに1回の加算しか必要としない。一方、ランダムインデクシングでは少なくとも2回の演算が必要となる。
• 6,000語の語彙に対して、PPMI 重み付きベクトルは数秒で計算可能であるが、高次元カウントモデルでは同じタスクに数時間もかかる。
• 正確な語-語カウントを保存しないため、従来の共起頻度カウントよりもメモリ使用量が少ない。
• 最適化を回避しているにもかかわらず、本手法は内在的および外在的評価の両方で GloVe や CBOW と同等の性能を達成しており、その堅牢性と効率性を示している。