[論文レビュー] Hash Embeddings for Efficient Word Representations

Dan Tito Svenstrup, Jonas Meinertz Hansen+1 more|arXiv (Cornell University)|Sep 12, 2017

Topic Modeling参考文献 15被引用数 32

ひとこと要約

この論文では、標準的な単語埋め込みと特徴ハッシュの利点を組み合わせた、効率的な単語表現のための新規手法であるハッシュ埋め込みを紹介する。k個のハッシュ関数を用いて共有プール内の埋め込みベクトルから選択し、各トークンごとにk個の学習可能な重みを学習することで、動的語彙処理、暗黙のプルーニング、パrameter数の削減を実現する。この手法は、複数のNLPタスクにおいて標準埋め込みと同等またはそれ以上の性能を達成しながら、モデルサイズを著しく削減する。

ABSTRACT

We present hash embeddings, an efficient method for representing words in a continuous vector form. A hash embedding may be seen as an interpolation between a standard word embedding and a word embedding created using a random hash function (the hashing trick). In hash embeddings each token is represented by $k$ $d$-dimensional embeddings vectors and one $k$ dimensional weight vector. The final $d$ dimensional representation of the token is the product of the two. Rather than fitting the embedding vectors for each token these are selected by the hashing trick from a shared pool of $B$ embedding vectors. Our experiments show that hash embeddings can easily deal with huge vocabularies consisting of millions of tokens. When using a hash embedding there is no need to create a dictionary before training nor to perform any kind of vocabulary pruning after training. We show that models trained using hash embeddings exhibit at least the same level of performance as models trained using regular embeddings across a wide range of tasks. Furthermore, the number of parameters needed by such an embedding is only a fraction of what is required by a regular embedding. Since standard embeddings and embeddings constructed using the hashing trick are actually just special cases of a hash embedding, hash embeddings can be considered an extension and improvement over the existing regular embedding types.

研究の動機と目的

• 神経系NLPモデルにおける巨大な語彙サイズの課題に対処すること。これは、過剰なパラメータ数とトレーニングのオーバーヘッドを引き起こす。
• 巨大または動的語彙を持つモデルにおいて、事前学習済みの語彙辞書やトレーニング後のプルーニングの必要性を排除すること。
• 標準埋め込みの表現力と特徴ハッシュの効率性を組み合わせたハイブリッド手法を開発すること。
• 事前辞書なしでオンライン学習や動的語彙拡張が可能になるようにすること。
• 下流のNLPタスクにおける性能を維持または向上させながら、モデルサイズとパラメータ数を削減すること。

提案手法

• 各トークンは、B個のベクトルからなる共有プールからk個のd次元埋め込みベクトルをk個のハッシュ関数によって選択する。
• k個の選択された埋め込みベクトルの重み付き和を計算するために、学習可能なk次元の重みベクトルが用いられ、最終的なd次元表現が形成される。
• 構成ベクトルと重要度重みの両方に同じハッシュ関数を用いるが、衝突リスクを低減するため、重みに別のハッシュ関数を用いる可能性も検討されている。
• 関連するハッシュバケットのみに重みを学習することで、暗黙的に語彙プルーニングが行われ、有効なパラメータ数が削減される。
• 最終的な表現は、モデルパラメータの微分可能で連続な関数であるため、勾配ベース最適化によるエンドツーエンド学習が可能である。
• この手法は、辞書なし学習と標準的な辞書ベース学習の両方をサポートしており、オンラインおよびオフライン学習の両方の設定で柔軟性を提供する。

実験結果

リサーチクエスチョン

• RQ1 ハッシュと学習可能な重みを組み合わせたハイブリッド埋め込み手法は、パラメータ数を削減しながらも、標準埋め込みと同等の性能を達成できるか？
• RQ2 ハッシュ埋め込みは、多様なNLP分類タスクにおいて、標準埋め込みや特徴ハッシュと比較してどの程度の性能を示すか？
• RQ3 事前に定義された辞書やトレーニング後のプルーニングが不要な状況でも、ハッシュ埋め込みは巨大または動的に拡大する語彙をどの程度効果的に処理できるか？
• RQ4 ハッシュバケットごとの学習可能な重みの使用は、標準埋め込みと比較して一般化性能を向上させる正則化効果をもたらすか？
• RQ5 語彙が事前に分かっていないオンライン学習のシナリオでも、ハッシュ埋め込みは効果的に使用できるか？

主な発見

• ハッシュ埋め込みは、AG、DBP、Yelp、Amazonセンチメントタスクを含む7つのベンチマークデータセットにおいて、標準埋め込みと同等またはそれ以上の性能を達成した。
• 7つのデータセットのうち5つで、最先端モデルの中でも上位3位以内にランクされた。これは、強力な競争力のある性能を示している。
• 特に巨大語彙の場合に顕著にパラメータ数が削減されたが、高い精度を維持した。
• 事前に定義された語彙辞書がなくても、性能は安定的かつ競争的であり、シームレスなオンライン学習と動的語彙処理が可能になった。
• 構成ベクトルと重要度重みに異なるハッシュ関数を用いることで、わずかだが一貫した性能向上が得られ、衝突に起因する情報損失が低減された。
• モデルは内在的な正則化効果を示している：活性なトークンに関連するパラメータのみが学習されるため、初期段階から過学習とパラメータ数の削減が効果的に実現される。