[論文レビュー] Word2Bits - Quantized Word Vectors

Maximilian Lam|arXiv (Cornell University)|Mar 15, 2018

Topic Modeling参考文献 27被引用数 24

ひとこと要約

この論文は、Word2Vecの損失関数に量子化関数を直接統合することで、パラメータ1〜2ビットで高品質な単語ベクトルを学習する方法であるWord2Bitsを提案する。この手法は、32ビットベクトルと比較してメモリ使用量を8〜16倍削減し、驚くべきことに単語類似度および質疑応答タスクでフル精度ベクトルを上回る性能を示す。また、過学習を軽減する正則化子としても機能する。

ABSTRACT

Word vectors require significant amounts of memory and storage, posing issues to resource limited devices like mobile phones and GPUs. We show that high quality quantized word vectors using 1-2 bits per parameter can be learned by introducing a quantization function into Word2Vec. We furthermore show that training with the quantization function acts as a regularizer. We train word vectors on English Wikipedia (2017) and evaluate them on standard word similarity and analogy tasks and on question answering (SQuAD). Our quantized word vectors not only take 8-16x less space than full precision (32 bit) word vectors but also outperform them on word similarity tasks and question answering.

研究の動機と目的

• 標準の32ビット単語ベクトルと比較して、大幅にメモリとストレージを削減できる高品質なコンパクトな単語ベクトルを学習する手法を開発すること。
• 後処理による圧縮技術の限界に対処し、計算のオーバーヘッドを追加せず、性能の低下を防ぐこと。
• 損失関数に直接量子化を組み込むことで、より良い一般化性能が得られ、内在的および外在的NLPタスクで性能が向上するかどうかを調査すること。
• 量子化トレーニングが正則化子として機能し、特に小規模データセットにおいて過学習を軽減するかどうかを評価すること。

提案手法

• Word2Vecの損失関数に微分可能な量子化関数を統合し、1〜2ビットのパラメータあたりの低ビット単語ベクトルのエンドツーエンド学習を可能にする。
• 物理的量子化（低精度演算）ではなく、フル精度勾配で学習するがパrameter値を制約する仮想量子化アプローチを採用する。
• 1ビット用の符号関数、2ビット用の4段階量子化関数を、離散値を介したバックプロパゲーションを可能にする微分可能なプロキシとして損失関数に適用する。
• ベースアーキテクチャとして、負例サンプリングを用いた連続的袋（CBOW）を採用し、量子化関数をベクトル更新プロセスに埋め込む。
• 大規模なテキスト（英語Wikipedia 2017）で学習し、標準的な単語類似度、類推、SQuAD質疑応答ベンチマークで評価する。
• ウィンドウサイズ、負例サンプリング、サブサンプリング、最小頻度などの標準ハイパーパrameterを用い、学習率を線形に減少させ、エポック数と次元数を変化させる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド学習を用いて、パラメータ1〜2ビットで高品質な単語ベクトルを学習できるか？
• RQ2 損失関数に量子化関数を組み込むことで、フル精度学習と比較して、内在的および外在的NLPタスクでの性能が向上するか？
• RQ3 量子化プロセスが正則化子として機能し、特に小規模データセットにおいて過学習を軽減するか？
• RQ4 低ビット精度であるにもかかわらず、質問応答などの下流タスクへの一般化性能が向上するか？
• RQ5 ビット深度に応じて、類推タスクと類似度タスクの性能にトレードオフが生じるか？

主な発見

• 1ビット/パラメータで使用する量子化単語ベクトルは、32ビットベクトルと比較してメモリ使用量が1/16にまで削減され、単語類似度タスクでフル精度ベクトルを上回る（例：text8で76.84 vs. 76.64）。
• SQuAD質疑応答ベンチマークでは、1ビットおよび2ビット単語ベクトルが32ビットベクトルを上回る性能を示し、外在的タスクへの一般化性能が優れていることを示している。
• 100MBのWikipediaサブセットで、フル精度Word2Vecはエポック数とベクトル次元数の増加に伴い過学習の兆候を示すが、量子化トレーニングは安定したままである。
• 1ビットおよび2ビットベクトルは、それぞれGoogle類推タスクで76.84および77.04を達成し、32ビットベースライン（77.12）よりわずかに劣るため、類推タスクではトレードオフが生じている。
• フル精度ベクトルでは、次元数が高くなるとパラメータ値が「爆発」する傾向があるが、量子化トレーニングではその現象が観察されないため、最適化の安定性が向上していると考えられる。
• 結果から、単語類似度のような内在的タスクの性能は、SQuADのような外在的タスクの性能を予測できないことが示され、タスク固有の一般化の事前研究を裏付けている。