[論文レビュー] Distilling Reverse-Mode Automatic Differentiation (DrMAD) for Optimizing Hyperparameters of Deep Neural Networks

Jie Fu, Hongyin Luo+2 more|arXiv (Cornell University)|Jan 5, 2016

Gaussian Processes and Bayesian Inference参考文献 26被引用数 8

ひとこと要約

この論文では、逆方向の自動微分を用いて深層ニューラルネットワークのハイパーパrameterを最適化する手法DrMADを提案する。中間変数をバックプロパゲーション中にすべて保存する必要がなくなるため、メモリ消費量を著しく削減する。前方伝搬を短絡パスに抽出することで、逆方向のトレースを近似可能にし、数十万のパラメータにわたる効率的なハイパーパrameterチューニングを実現。正確な手法とほぼ同等の性能を達成するが、メモリ使用量は桁違いに少ない。

ABSTRACT

The performance of deep neural networks is sensitive to the setting of their hyperparameters (e.g. L2-norm panelties). Recent advances in reverse-mode automatic differentiation have made it possible to optimize hyperparameters with gradients. The standard way of computing these gradients involves a forward and backward pass, which is similar to its cousin, back-propagation, used for training weights of neural networks. However, the backward pass usually needs to exactly reverse a training procedure, starting from the trained parameters and working back to the initial random ones. This incurs unaffordable memory consumption as it needs to store all the intermediate variables. Here we propose to distill the knowledge of the forward pass into an shortcut path, through which we approximately reverse the training trajectory. Experiments carried out on MNIST dataset show that our approach reduces memory consumption by orders of magnitude without sacrificing its effectiveness. Our method makes it feasible, for the first time, to automatically tune hundreds of thousands of hyperparameters of deep neural networks in practice.

研究の動機と目的

• 逆方向の自動微分におけるハイパーパラメータ最適化の高いメモリコストを解消すること。これは、バックプロパゲーション中にすべての中間変数を保存する必要があるためである。
• 完全な最適化効果を損なわず、深層ニューラルネットワークにおける大規模なハイパーパラメータチューニングを実用的に行えるように、メモリ消費量を低減すること。
• 完全なトレーニング履歴を保存する必要がないように、蒸留された前方伝搬を用いて逆方向のトレースを近似する手法を開発すること。
• 数百数千のハイパーパラメータを持つ複雑なモデルに対しても、エンドツーエンドのハイパーパラメータ最適化を現実可能にする

提案手法

• 本手法は、完全なトレーニングプロセスの挙動を模倣するように学習される、蒸留された前方伝搬を導入し、近似された逆方向計算のための短絡パスを構築する。
• この蒸留パスは、最終的な重みから入力パラメータを再構築することを目的としており、前方トレーニングダイナミクスの逆関数を学習する。
• その後、この蒸留モデルを用いて逆方向伝搬を近似し、元の前方伝搬の途中の活性化を保存する必要がなくなる。
• このアプローチは、知識蒸留の原則を活用しており、蒸留モデルが完全な前方伝搬から学習することで、効率的な勾配計算が可能になる。
• 標準的な逆方向の自動微分の正確性を維持しつつ、メモリ消費量を桁違いに削減する。

実験結果

リサーチクエスチョン

• RQ1 中間変数を保存せず、知識蒸留を用いてハイパーパラメータ最適化における逆方向伝搬を近似できるか？
• RQ2 蒸留された前方モデルは、ハイパーパラメータチューニングの逆方向自動微分において、正確な逆方向伝搬をどの程度代替できるか？
• RQ3 蒸留された逆方向計算を用いる際の、メモリ効率と最適化の正確性のトレードオフはいかほどか？
• RQ4 この手法は、深層ニューラルネットワークにおける数十万のハイパーパラメータのチューニングにスケーラブルに適用可能か？

主な発見

• DrMADは、標準的な逆方向自動微分と比較して、メモリ消費量を桁違いに削減し、大規模なハイパーパラメータチューニングを現実可能にする。
• 本手法は、正確な逆方向自動微分と同等の最適化効果を達成しており、MNISTデータセットにおいても顕著な性能低下がない。
• 蒸留モデルは逆方向のトレースを効果的に近似できており、中間活性化を保存せずに勾配計算が可能である。
• 本手法により、初めて実用的に数十万のハイパーパラメータの自動チューニングが可能になった。