[論文レビュー] Deep Neural Network Hyperparameter Optimization with Orthogonal Array Tuning

Xiang Zhang, Xiaocong Chen+3 more|arXiv (Cornell University)|Jul 31, 2019

Machine Learning and Data Classification参考文献 15被引用数 27

ひとこと要約

本稿では、直交配列実験計画を用いてハイパーパramータ空間を効率的に探索することで、深層ニューラルネットワーク向けのハイパーパramータ最適化手法である直交配列チューニング法（OATM）を提案する。学習率、L2正則化、ネットワークアーキテクチャパラメータのバランスの取れた部分的組み合わせを体系的にサンプリングすることにより、グリッドサーチ、ランダムサーチ、ベイズ最適化と比較して著しく短いチューニング時間で最先端の性能を達成した。RNNでは92.5%、CNNでは79.7%の精度を達成し、初期のOATM試行で得られた最良結果を上回った。

ABSTRACT

Deep learning algorithms have achieved excellent performance lately in a wide range of fields (e.g., computer version). However, a severe challenge faced by deep learning is the high dependency on hyper-parameters. The algorithm results may fluctuate dramatically under the different configuration of hyper-parameters. Addressing the above issue, this paper presents an efficient Orthogonal Array Tuning Method (OATM) for deep learning hyper-parameter tuning. We describe the OATM approach in five detailed steps and elaborate on it using two widely used deep neural network structures (Recurrent Neural Networks and Convolutional Neural Networks). The proposed method is compared to the state-of-the-art hyper-parameter tuning methods including manually (e.g., grid search and random search) and automatically (e.g., Bayesian Optimization) ones. The experiment results state that OATM can significantly save the tuning time compared to the state-of-the-art methods while preserving the satisfying performance. The codes are open in GitHub (https://github.com/xiangzhang1015/OATM)

研究の動機と目的

• ハイパーパラメータの感度が極めて高い深層学習における課題に取り組む。特に、設定によって性能が著しく変動する（例：32.2%から92.6%まで）状況を扱う。
• グリッドサーチ（計算コストが高いため非効率）やランダムサーチ（収束保証がない）といった従来のハイパーパラメータチューニング手法の非効率性を克服する。
• 代替モデルパラメータに敏感で、高次元のハイパーパラメータ空間へのスケーリングが難しいベイズ最適化の限界を改善する。
• 直交配列設計の原則を応用し、体系的で効率的かつ再現可能な深層学習のハイパーパラメータチューニング手法を導入する。
• RNNおよびCNNを含むさまざまな深層学習アーキテクチャと実世界のデータセットに対して、OATMの普遍性と適応性を実証する。

提案手法

• タグッチの方法における直交配列設計を応用し、すべての可能なハイパーパラメータ組み合わせの代表的部分集合を効率的にサンプリングする、高頻度でバランスの取れた実験マトリクスを構築する。
• 学習率、L2正則化、層数、ユニット数などのハイパーパラメータ（要因）を、直交配列内の離散レベルとして定義する。
• 直交配列に従って実験を実施し、各ハイパーパラメータレベルの組み合わせに対してモデルを学習・評価する。
• 範囲分析を実施し、各レベルごとの平均精度を計算し、性能変動の範囲を特定し、範囲の大きさに基づいて要因の重要度を順位付けする。
• 全レベルにおける平均精度が最大となる組み合わせを最適なハイパーパラメータ設定として選定する。
• 最終的な再評価を通じて最適設定の妥当性を検証し、実験設計内で得られた最良の試行結果を上回る性能が得られたことから、グローバル最適値の良好な近似であることを裏付ける。

実験結果

リサーチクエスチョン

• RQ1 直交配列ベースのハイパーパラメータチューニングは、深層学習においてグリッドサーチ、ランダムサーチ、ベイズ最適化と比較して、著しく短いチューニング時間で優れた性能を達成できるか？
• RQ2 実世界のデータセットを用いたRNNおよびCNNモデルに適用した場合、OATMの効率性と有効性はどのように比較されるか？
• RQ3 範囲分析によってOATMが最も影響力のあるハイパーパラメータをどれだけ正確に特定できるか、またその順位付けが実際の性能影響と整合しているか？
• RQ4 OATMは、実験設計内で得られた最良の試行結果を上回る性能を示すことで、グローバル最適値を一貫して近似または上回っていると言えるか？
• RQ5 OATMはさまざまな深層学習アーキテクチャおよびデータセットに一般化可能であり、その堅牢性と適応性を示せるか？

主な発見

• RNNモデルではOATMが92.5%のテスト精度を達成し、初期のOATM試行で観測された最高精度（89.7%）を上回った。これはグローバル最適値の効果的な近似であることを示している。
• CNNモデルではOATMが最終的に79.7%の精度を達成し、OATM実験セットで得られた最良結果（77.9%）を上回った。これにより、優れた設定を同定できる能力が裏付けられた。
• 範囲分析の結果、RNNではL2正則化（λ）が最も影響力のあるハイパーパラメータであり、次いで層数（nl）、学習率（lr）、ユニット数（nn）の順に重要度が高く、重要度順はλ > nl > lr > nnであった。
• CNNでは層数（nl′）が最も重要な要因であり、次いでユニット数（nn′）、学習率（lr′）、フィルターサイズ（f′）の順に重要度が高く、重要度順はnl′ > nn′ > lr′ > f′であった。
• OATMはグリッドサーチやランダムサーチと比較してチューニング時間を著しく短縮しながら、性能を維持または向上させた。これにより、優れた効率性と有効性が示された。
• ソースコードとデータセットを公開することで、再現性が向上し、深層学習研究分野における複製と広範な採用を支援する。