[論文レビュー] Exponentially Increasing the Capacity-to-Computation Ratio for Conditional Computation in Deep Learning

Kyunghyun Cho, Yoshua Bengio|arXiv (Cornell University)|Jun 28, 2014

Neural Networks and Applications参考文献 26被引用数 27

ひとこと要約

本稿では、隠れユニットの活性化の学習済みビットパターンに基づいてパラメータを活性化することで、計算量に対して指数的に大きなモデル容量を実現する、ニューラルネットワーク重み行列の木構造的パrameter化を提案する。この手法により、容量対計算量比に指数的増加が達成され、理論的分析では標準ネットワークに対して $\frac{2^k}{k}$ の向上が示され、時間に依存する重み減衰による正則化を維持する。

ABSTRACT

Many state-of-the-art results obtained with deep networks are achieved with the largest models that could be trained, and if more computation power was available, we might be able to exploit much larger datasets in order to improve generalization ability. Whereas in learning algorithms such as decision trees the ratio of capacity (e.g., the number of parameters) to computation is very favorable (up to exponentially more parameters than computation), the ratio is essentially 1 for deep neural networks. Conditional computation has been proposed as a way to increase the capacity of a deep neural network without increasing the amount of computation required, by activating some parameters and computation "on-demand", on a per-example basis. In this note, we propose a novel parametrization of weight matrices in neural networks which has the potential to increase up to exponentially the ratio of the number of parameters to computation. The proposed approach is based on turning on some parameters (weight matrices) when specific bit patterns of hidden unit activations are obtained. In order to better control for the overfitting that might result, we propose a parametrization that is tree-structured, where each node of the tree corresponds to a prefix of a sequence of sign bits, or gating units, associated with hidden units.

研究の動機と目的

• 容量（パラメータ数）と計算量が線形に増加するという深層ニューラルネットワークの根本的制限を解消すること。
• 推論や学習の計算量を比例的に増加させることなく、はるかに大きなモデルやデータセットを活用できるようにすること。
• 深層分散表現の統計的効率性と、指数的容量対計算量比を達成する決定木の計算効率性を組み合わせること。
• 計算量の増加が最小限で、パラメータ数を指数的に増加させられる、微分可能で学習可能な条件付き計算のメカニズムを設計すること。

提案手法

• 隠れユニットの活性化の符号ビットパターンによってインデックス付けされたベクトルの木構造的テーブルを用いて重み行列をパrameter化する。
• 各ユニットについて、$ T(j, \mathbf{b}_{1\ldots l}) $ の形の重みベクトルの集合を維持する。ここで $ \mathbf{b} $ は長さ $ l $ のバイナリプレフィックスであり、$ k $ ビットプレフィックスでは合計 $ 2^k $ 個のベクトルが可能である。
• 入力活性化の符号に基づくゲーティング機構を用いて、選択されたベクトルの和として有効な重み行列を計算する。
• 時間に依存する正則化を適用：活性化していない間隔 $ \Delta t $ の間にスキップされた正則化ステップを補償するため、重みベクトルを $ (1 - \epsilon\lambda)^{\Delta t} $ で事前に乗算する。
• ネットワーク全体を通して標準的な誤差逆伝播法を適用し、ゲーティングの決定を非微分可能と見なしても、依然として学習済みの重みベクトルへ勾配が伝搬可能である。
• ゲーティングユニットのためのREINFORCEベースの学習や、ノイズあり整流器に類似した重みベクトル寄与のモodulationを含む、代替の信用配分戦略を検討する。

実験結果

リサーチクエスチョン

• RQ1 計算量に対して指数的に増加するパラメータ数を実現するパrameter化を設計できるか？
• RQ2 指数的に多くのパラメータを使用する場合でも、モデルの一般化性能を維持し、過学習を回避するにはどうすればよいか？
• RQ3 ゲーティング機構が効果的かつ微分可能である、適切な訓練方法は何か？
• RQ4 著しい容量対計算量比の向上を達成するが、計算コストが著しく増加しないか？

主な発見

• 提案手法により、計算量に対する自由度の比が $ \frac{2^k}{k} $ に向上し、$ k $（ゲーティングに使用する符号ビット数）が増加するに従い指数的に増加する。
• 有効な重み行列を計算するための計算オーバーヘッドは、ユニットあたり $ O(kq) $ であり、標準的な行列乗算に必要な $ O(pq) $ の乗加算と比較して妥当なコストである。
• 最終更新からの経過時間を追跡することで、非活性状態の重みベクトルに対して時間補正付きの減衰因子を適用する、効率的な正則化が可能である。
• 実証的検証はまだ必要だが、このアプローチは理論的に妥当であり、音声や言語モデリング分野の大型データセットへの応用の可能性を示している。