[論文レビュー] Optimizing Millions of Hyperparameters by Implicit Differentiation

Jonathan Lorraine, Paul Vicol+1 more|arXiv (Cornell University)|Nov 6, 2019

Machine Learning and Data Classification参考文献 65被引用数 43

ひとこと要約

この論文は、暗黙の関数定理とノイマン級数の逆ヘッセ行列を用いた勾配ベースのハイパーパラメータ最適化手法を提案し、大規模ニューラルネットワークの何百万ものハイパーパラメータへHOをスケールさせる。

ABSTRACT

We propose an algorithm for inexpensive gradient-based hyperparameter optimization that combines the implicit function theorem (IFT) with efficient inverse Hessian approximations. We present results about the relationship between the IFT and differentiating through optimization, motivating our algorithm. We use the proposed approach to train modern network architectures with millions of weights and millions of hyper-parameters. For example, we learn a data-augmentation network - where every weight is a hyperparameter tuned for validation performance - outputting augmented training examples. Jointly tuning weights and hyperparameters with our approach is only a few times more costly in memory and compute than standard training.

研究の動機と目的

• ハイパーパラメータ最適化（HO）を、ハイパーパラメータがモデル重みのベストレスポンスを通じて検証損失に影響を与えるネストされた最適化として動機づけ、形式化する。
• 安定でメモリ効率の良い逆ヘッセ近似を導入して、大規模で微分可能な最適化を可能にする。
• IFTベースのHOの大規模アーキテクチャや高次元ハイパーパラメータへのスケーラビリティを示す。
• per-parameter regularization、data distillation、learned data augmentationなどの実践的HO応用を示す。

提案手法

• HOを、訓練損失L_Tと検証損失L_Vを用いたネストされた最適化問題として定式化する。ハイパーパラメータlambdaは、w*(lambda)がL_Tを最小化する時、L_V*を最小化するように最適化される。
• ハイパーグラデントを、直接項と、best-response雅 Jacobian ∂w*/∂lambdaを含む間接項に分解する。間接項が通常ボトルネックであることを強調する。
• 暗黙の関数定理を用いて、∂w*/∂lambdaを、逆の訓練ヘッセ行列 ∂^2 L_T/∂w∂w^Tと混合偏微分 ∂^2 L_T/∂w∂lambda^Tを用いて表す。
• ノイマン級数に基づく逆ヘッセ近似を提案し、定数メモリ計算を可能にし、展開微分と結びつける。効率のためのベクトル-ヤコビ行列積フレームワークを提供する。
• 3つのアルゴリズムを提示する：(i) 暗黙微分を用いた勾配ベースのHO；(ii) 近似的な逆HVPルーチン；(iii) 反復回数iを精度とトレードオフするノイマン級数ベースのハイパーグラデント計算。

実験結果

リサーチクエスチョン

• RQ1 高次元なハイパーパラメータに対して、暗黙の関数定理を用いてハイパーグラデントを効率的に計算できるか？
• RQ2 安定で定数メモリの逆ヘッセ近似は、現代の大規模ニューラルネットワークで実用的なHOを可能にするか？
• RQ3 HOの文脈で展開微分とIFTの関係は何か、そしてそれらをどのように効果的に組み合わせられるか？
• RQ4 重みとハイパーパラメータの同時最適化は、データ拡張、データセット蒸留、各パラメータごとの正則化にどのような影響を与えるか？
• RQ5 何百万ものハイパーパラメータへHOをスケールさせる際のメモリと計算のトレードオフは何か？

主な発見

• 提案されたノイマン級数逆ヘッセ近似は、安定で定数メモリのハイパーグラデント計算を実現する。
• IFTベースのハイパーグラデントは、展開近似がより正確になるにつれて真の解に収束し、展開最適化とIFTの関係を確立する。
• このアプローチは、AlexNetやLSTM言語モデルのような、数百万の重みとハイパーパラメータを持つ大規模なアーキテクチャへスケールする。
• 本手法は、各パラメータ単位の正則化、データ蒸留（クラスごと1枚の蒸留画像）、学習済みデータ拡張などの応用を可能にする。
• 実証結果は、多数のハイパーパラメータを最適化する際、標準的な訓練/検証分割だけでは不十分である可能性を示し、 joint training-validationデータでの再訓練を動機づける。