[論文レビュー] Scalable Gradient-Based Tuning of Continuous Regularization Hyperparameters

Jelena Luketina, Mathias Berglund+2 more|arXiv (Cornell University)|Nov 20, 2015

Advanced Neural Network Applications参考文献 22被引用数 18

ひとこと要約

本論文では、1回の学習実行中に深層ニューラルネットワークのパラメータと連続的正則化ハイパーパrameter（例：L2重み減衰、入力ノイズ）を同時に学習するスケーラブルで勾配ベースの手法を提案する。訓練用と検証用のデータセットを別々に用いてモデルとハイパーパrameterの両方の勾配を計算することで、わずか30％の計算オーバーヘッドでほぼ最適な正則化レベルを達成でき、Hessian行列の計算を避けながらも、単純なハイパーパrameterサーチに比べて顕著に優れた性能を発揮する。

ABSTRACT

Hyperparameter selection generally relies on running multiple full training trials, with selection based on validation set performance. We propose a gradient-based approach for locally adjusting hyperparameters during training of the model. Hyperparameters are adjusted so as to make the model parameter gradients, and hence updates, more advantageous for the validation cost. We explore the approach for tuning regularization hyperparameters and find that in experiments on MNIST, SVHN and CIFAR-10, the resulting regularization levels are within the optimal regions. The additional computational cost depends on how frequently the hyperparameters are trained, but the tested scheme adds only 30% computational overhead regardless of the model size. Since the method is significantly less computationally demanding compared to similar gradient-based approaches to hyperparameter optimization, and consistently finds good hyperparameter values, it can be a useful tool for training neural network models.

研究の動機と目的

• 固定されたハイパーパrameterを用いた複数回の完全な学習を要する従来のハイパーパラメータチューニング手法の高い計算コストを解消すること。
• 検証セットの性能に基づいて、学習中にリアルタイムで正則化ハイパーパラメータを自動的に調整する手法を開発すること。
• ハイパーパラメータ最適化の計算負荷を軽減しつつ、高いモデル一般化性能を維持すること。
• オンザフライでのハイパーパラメータチューニングが、全探索に匹敵する結果をもたらすかどうか、また検証セットへの過学習を避けるかどうかを検討すること。

提案手法

• 本手法はT1-T2と呼ばれるもので、T1（訓練セット）とT2（検証セット）という2つの別々のデータ分割を用いて、確率的勾配降下法によりモデルパラメータとハイパーパラメータを同時に最適化する。
• モデルパラメータは訓練損失に基づく標準的な誤差逆伝播で更新され、ハイパーパラメータは正則化なしのモデルの検証損失から計算される勾配を用いて更新される。
• Hessian行列やその逆行列の計算を避けるために一次近似を用いることで、メモリと計算のオーバーヘッドを著しく削減する。
• バッチ正則化と適応的学習率を組み合わせることで、ハイパーパラメータの更新中に学習の安定性を高め、収束性を向上させる。
• ハイパーパラメータは学習中に継続的に更新され、完全な再訓練を必要とせずに学習軌道に応じた動的適応が可能になる。
• ハイパーパラメータを勾配逆伝播可能な学習可能なパrameterとして扱うことで、エンドツーエンドで微分可能なハイパーパラメータチューニングが実現される。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの手法が、最小限の計算オーバーヘッドで学習中に正則化ハイパーパラメータをチューニングできるか。
• RQ2 T1-T2手法が、複数回の完全な学習を必要とせずに、最適な設定に近いハイパーパラメータ値を特定できるか。
• RQ3 オンザフライでのハイパーパラメータチューニングで学習されたモデルの性能は、固定ハイパーパラメータを用いたモデルと比べてどうか。
• RQ4 ハイパーパラメータを学習中に変更することで、固定ハイパーパラメータと比較して最終的なモデル性能が変化する「ヒステリシス効果」が顕著に現れるか。
• RQ5 検証セットへの過学習が生じる可能性はあるか。また、テストセットへの一般化性能はどの程度か。

主な発見

• T1-T2手法は、MNIST、SVHN、CIFAR-10の各データセットで、初期のハイパーパラメータ値が悪くとも最適な正則化領域内に到達した。
• モデルサイズに依存せず、常に30％の計算オーバーヘッドに留まり、従来の勾配ベースのハイパーパラメータ最適化手法よりも顕著に効率的であった。
• T1-T2で得られた最終的なハイパーパラメータ値を固定して再実行したモデルでは、大多数のケースで性能が向上した。これは、動的チューニングと最終的なモデル品質との強い相関関係を示している。
• ヒステリシス効果が観察された。特にCIFAR-10では、T1-T2チューニング後に固定ハイパーパラメータで再訓練したことで顕著な性能向上が得られた。
• 最大20個のハイパーパラメータを用いても、検証セットへの過学習は顕著に観察されず、テストセットへの一般化性能が良好であることが示された。
• 初期値が最適から大きく離れている場合でも、本手法は正則化レベルを常に改善することができ、自己修正型チューニングメカニズムとしての有効性を示した。