[論文レビュー] Efficient Exact Gradient Update for training Deep Networks with Very Large Sparse Targets

Pascal Vincent, Alexandre de Brébisson+1 more|arXiv (Cornell University)|Dec 22, 2014

Domain Adaptation and Few-Shot Learning参考文献 12被引用数 17

ひとこと要約

この論文は、ニューラル言語モデルなど、非常に大きなスパースなターゲットを持つ深層ネットワークにおける勾配更新を、出力のD次元ベクトルを明示的に計算することなく、正確にO(d²)で行うアルゴリズムを提案する。二乗誤差や球面ソフトマックスといった構造的損失関数を活用することで、近似や階層的ツリーを用いずに、GPUで最大3,257倍、CPUで最大763倍の高速化を達成し、大規模語彙タスクにおける効率的な学習を可能にする。

ABSTRACT

An important class of problems involves training deep neural networks with sparse prediction targets of very high dimension D. These occur naturally in e.g. neural language models or the learning of word-embeddings, often posed as predicting the probability of next words among a vocabulary of size D (e.g. 200 000). Computing the equally large, but typically non-sparse D-dimensional output vector from a last hidden layer of reasonable dimension d (e.g. 500) incurs a prohibitive O(Dd) computational cost for each example, as does updating the D x d output weight matrix and computing the gradient needed for backpropagation to previous layers. While efficient handling of large sparse network inputs is trivial, the case of large sparse targets is not, and has thus so far been sidestepped with approximate alternatives such as hierarchical softmax or sampling-based approximations during training. In this work we develop an original algorithmic approach which, for a family of loss functions that includes squared error and spherical softmax, can compute the exact loss, gradient update for the output weights, and gradient for backpropagation, all in O(d^2) per example instead of O(Dd), remarkably without ever computing the D-dimensional output. The proposed algorithm yields a speedup of D/4d , i.e. two orders of magnitude for typical sizes, for that critical part of the computations that often dominates the training time in this kind of network architecture.

研究の動機と目的

• 非常に大きなスパースなターゲットベクトル（例：言語モデリングにおける語彙サイズの出力）を伴う深層ネットワークの学習における計算ボトルネックを解決すること。
• 階層的ソフトマックスやネガティブサンプリングのような近似手法を用いずに、正確な勾配計算と重み更新を可能にすること。
• 出力層の計算コストを、ターゲットサイズDに依存しないO(d²)に低減すること。
• 大語彙タスクにおける学習速度を著しく向上させつつ、モデルの精度を維持すること。
• 実世界のデータセット（例：One Billion Wordコーパス）において、実用的かつスケーラブルであることを示すこと。

提案手法

• 出力重み行列W = VUの因子分解表現（VはD×d、Uはd×d）を用いることで、D次元の計算を回避する。
• 行列Uと隠れ層の活性化hを用いて損失関数と勾配計算を再定式化し、すべての演算をd次元空間で行う。
• 二乗誤差や球面ソフトマックスに対して、D次元出力ベクトルを一切形成せず、Wの正確な勾配更新を計算する。
• 損失関数の構造を活用して勾配およびヘッセ行列の閉形式表現を導出し、効率的な最適化を可能にする。
• CPU（BLAS）およびGPU（cuBLAS）の両方で効率的に実装されており、論文公開時にコードがオープンソース化されている。
• オンライン学習およびミニバッチ学習をサポートし、浮動小数点精度の範囲で、ナードルベースラインと数値的に同等である。

実験結果

リサーチクエスチョン

• RQ1 Dがターゲット次元、dが隠れ層サイズであるとき、O(Dd)からO(d²)に低減可能な正確な勾配更新が、大スパースターゲットに対して可能か？
• RQ2 提案手法は、大語彙タスクにおいて精度を損なわず、顕著な高速化を達成できるか？
• RQ3 球面ソフトマックスのような非標準損失関数に対しても、正確性と効率性を維持できるか？
• RQ4 実際の性能において、階層的ソフトマックスやネガティブサンプリングといった近似手法と比較して、どのように差がつくか？
• RQ5 80万語彙サイズを持つOne Billion Wordコーパスのような実世界のデータセットに対しても、アルゴリズムはスケーラブルか？

主な発見

• 理論的高速化はD/(4d)に相当し、D=793,471、d=300の場合、GPUで最大3,257倍、CPUで最大763倍の高速化を達成する。
• GPU実装における因子分解手法は、出力層のみでナードルベースライン比3,257.3倍高速であり、全モデルで1,852.3倍の高速化を達成する。
• LST（Large Sparse Target）モデルは、SimLex-999スコアにおいてソフトマックスモデルとわずかに低いが、著しく高速に収束する。
• 浮動小数点精度の範囲で、ナードルベースラインと数値的に同等であり、同じ学習曲線とモデル重み（VU）を再現する。
• 対数プロットにおいて、異なるD値に対して一定の実行時間となることから、速度向上は語彙サイズDに依存しないことが示された。
• 階層的ソフトマックスよりも高速であり、全モデルでCPUで125.2倍、GPUで178.1倍の高速化を達成した。