[論文レビュー] Hyperparameter Optimization: A Spectral Approach

Elad Hazan, Adam R. Klivans+1 more|arXiv (Cornell University)|Jun 2, 2017

Machine Learning and Data Classification参考文献 27被引用数 27

ひとこと要約

この論文では、圧縮センシングと直交多項式近似を活用して、高次元で構造的な損失関数を効率的に最小化するスペクトル的ハイパーパramータ最適化手法Harmonicaを紹介する。目的関数がフーリエ領域における低次のスパース多項式であると仮定することで、Harmonicaは証明可能なサンプル効率性と並列化を実現し、ベイズ最適化、Hyperband、ランダムサーチを凌駉する。深層学習タスクにおける実験では、収束が最大10倍速くなり、一般化性能も向上した。

ABSTRACT

We give a simple, fast algorithm for hyperparameter optimization inspired by techniques from the analysis of Boolean functions. We focus on the high-dimensional regime where the canonical example is training a neural network with a large number of hyperparameters. The algorithm --- an iterative application of compressed sensing techniques for orthogonal polynomials --- requires only uniform sampling of the hyperparameters and is thus easily parallelizable. Experiments for training deep neural networks on Cifar-10 show that compared to state-of-the-art tools (e.g., Hyperband and Spearmint), our algorithm finds significantly improved solutions, in some cases better than what is attainable by hand-tuning. In terms of overall running time (i.e., time required to sample various settings of hyperparameters plus additional computation time), we are at least an order of magnitude faster than Hyperband and Bayesian Optimization. We also outperform Random Search 8x. Additionally, our method comes with provable guarantees and yields the first improvements on the sample complexity of learning decision trees in over two decades. In particular, we obtain the first quasi-polynomial time algorithm for learning noisy decision trees with polynomial sample complexity.

研究の動機と目的

• 深層学習で一般的な高次元・離散的・評価に高コストがかかる設定におけるハイパーパramータ最適化（HPO）の課題に対処すること。
• グリッドサーチ、ランダムサーチ、ベイズ最適化の限界を、損失関数の構造的仮定を活用することで克服すること。
• スパarsityと低次の多項式仮定の下で、均一なサンプリングのみを必要とし、低サンプル複雑性を達成する、証明可能な効率性と並列化可能性を持つアルゴリズムの開発。
• 現実世界のHPO問題が、深層学習において必要なスペクトル的構造を示していることの実証的妥当性を示すこと。

提案手法

• ハイパーパramータの目的関数を、ブールハイパーキューブ上のフーリエ基底におけるスパースで低次の多項式としてモデル化する。
• 直交多項式（例：ウォルシュ＝ハダマール基底）を用いた反復的圧縮センシング技術を適用し、関数のスペクトル表現を回復する。
• ℓ1正則化を用いたラッソ回帰を用いて、最適化の各段階で最も影響力のあるハイパーパramータを同定する。
• 段階的でグリーディな特徴選択プロセスを実装し、最も情報の多いハイパーパramータに焦点を当てることで、徐々に探索空間を精錬する。
• 並列サンプリングを活用：各段階で複数のハイパーパramータ設定を同時に評価し、クラウド規模の効率性を実現する。
• 初期段階でベースアルゴリズム（例：SH や ランダムサーチ）を用いて探索を初期化し、その後にスペクトル回復で改善を図る。

実験結果

リサーチクエスチョン

• RQ1 低次のスパース多項式仮定の下で、圧縮センシングとフーリエ解析に基づくスペクトル的アプローチが、証明可能な効率性を有するハイパーパramータ最適化を達成できるか？
• RQ2 実世界のデータセット（例：CIFAR-10）において、深層学習の損失関数が実際に低次のスパース多項式として近似可能であるという仮定は、実際のところ成り立つか？
• RQ3 ベイズ最適化、Hyperband、ランダムサーチといった最先端HPO手法と比較して、提案手法のサンプル効率性、実行時間、解の質はどの程度か？
• RQ4 精度を維持しつつ、最適化時間の短縮を図るために、どの程度まで並列化が可能か？
• RQ5 ラッソ正則化パラメータや各段階あたりのサンプル数といった主要コンponentsの安定したハイパーパラメータ範囲は何か？

主な発見

• CIFAR-10において、HarmonicaはHyperband やベイズ最適化（例：Spearmint）と比較して、少なくとも1桁の高速化を達成し、顕著に低いテスト誤差を実現した。
• 深層ニューラルネットワークの学習において、Harmonicaは手動チューニングの設定やHyperband やSpearmintといった最先端ツールを凌駉し、より良い解をより短い時間で見つけ出した。
• 既知の階層的構造を持つ合成関数に対して、Harmonicaはノイズレベルに比例する誤差で元の関数を推定でき、理論的ロバストネスを確認した。
• この手法により、ハイパーパラメータ探索空間の有効次元数を数千次元からたった6つの調整可能なパラメータにまで削減でき、広範な設定で安定した性能を示した。
• 最大60個のハイパーパラメータを含むシミュレーションでは、特に高次元領域において、ベイズ最適化に比べて数個のオーダーの高速化を達成した。
• ラッソ正則化パラメータλや各段階あたりのサンプル数には、トップ特徴とその符号が変化しない安定した範囲（例：段階1でλ ∈ [0.01,4.5]）が存在し、ハイパーパラメータ選択に対するロバストネスを示した。