[論文レビュー] Non-stochastic Best Arm Identification and Hyperparameter Optimization

Kevin Jamieson, Ameet Talwalkar|arXiv (Cornell University)|Feb 27, 2015

Advanced Bandit Algorithms Research参考文献 20被引用数 237

ひとこと要約

本稿では、ハイパーパramータ最適化のための非確率的ベストアーム同定フレームワークを提案する。アームはハイパーパramータ設定を表し、訓練中に時間経過とともに損失が観測される。Successive Halvingアルゴリズムを活用することで、有望な設定にリソースを適応的に割り当てることで、ベースラインと比較してモデル性能にほぼ同等の水準で、10倍の速さで収束を達成した。実験結果では、リッジ回帰、カーネルSVM、行列補完タスクの全般において、ウォールクロック時間で顕著な高速化が確認された。

ABSTRACT

Motivated by the task of hyperparameter optimization, we introduce the non-stochastic best-arm identification problem. Within the multi-armed bandit literature, the cumulative regret objective enjoys algorithms and analyses for both the non-stochastic and stochastic settings while to the best of our knowledge, the best-arm identification framework has only been considered in the stochastic setting. We introduce the non-stochastic setting under this framework, identify a known algorithm that is well-suited for this setting, and analyze its behavior. Next, by leveraging the iterative nature of standard machine learning algorithms, we cast hyperparameter optimization as an instance of non-stochastic best-arm identification, and empirically evaluate our proposed algorithm on this task. Our empirical results show that, by allocating more resources to promising hyperparameter settings, we typically achieve comparable test accuracies an order of magnitude faster than baseline methods.

研究の動機と目的

• 非確率的マルチアームバンディット設定において、ベストアーム同定の理論的およびアルゴリズム的枠組みが不足している現状に対処すること。特にハイパーパラメータ最適化に焦点を当てる。
• モデル学習をブラックボックスとして扱うか、収束速度に関する強い仮定に依存する既存手法の限界を克服すること。
• 反復的機械学習設定において、最良のハイパーパラメータ設定を特定するための汎用的で、頑健かつ効率的なアルゴリズムの開発。
• 原理的なオンラインリソース割り当てにより、性能が低いハイパーパラメータ設定の早期終了を可能にすること。
• テスト精度を維持しつつ、ウォールクロック時間の観点で標準ベースラインを上回る実用的優位性を示すこと。

提案手法

• 各アームが固定されたハイパーパラメータ設定に対応する非確率的ベストアーム同定問題として、ハイパーパラメータ最適化を定式化する。
• 中間の検証損失の系列を、非確率的で、非単調的で、かつ非滑らかである可能性があるものとしてモデル化する。
• 成功する段階ごとに、中間段階での性能に基づいてより多くのリソースを有望なアームに割り当てるSuccessive Halvingアルゴリズムをコア手法として採用する。
• 各段階で予算を倍増させるダブルイングトリックを用い、リセットを伴うことで解釈可能性と公平性を確保する。
• 中間のモデル状態を完全収束させずに評価可能な反復的機械学習プロセス（例：確率的勾配降下法）にアルゴリズムを適用する。
• 初期段階で有望さを示すアームを優先するリソース割り当て戦略を実装し、計算時間全体を短縮しつつ、モデル品質を維持する。

実験結果

リサーチクエスチョン

• RQ1 反復的機械学習におけるハイパーパラメータ最適化に、非確率的ベストアーム同定フレームワークを効果的に適用可能か？
• RQ2 ウォールクロック時間および収束速度の観点で、Successive Halvingは均等割り当てとSuccessive Rejectsに比べてどのように性能を発揮するか？
• RQ3 性能が低いハイパーパラメータ設定の早期終了は、最終的なモデル精度を損なわず、最適化プロセスをどれほど加速できるか？
• RQ4 収束ダイナミクスや非滑らかな損失軌跡を示すさまざまな機械学習タスクにおいて、アルゴリズムはどのように性能を発揮するか？
• RQ5 アームを引くこととその損失を観測することの計算コストの違いが、アルゴリズムの設計および効率性に与える影響は何か？

主な発見

• カーネルSVMタスクにおいて、Successive Halvingは、均等割り当てとSuccessive Rejectsと比較して、ウォールクロック時間で10倍以上も速く、同等の低いテスト誤差を達成した。
• リッジ回帰タスクでは、LUCBとlil’UCBが反復回数の観点でより低いテスト誤差を早く達成したが、検証損失の評価コストが高いため、ウォールクロック時間ではSuccessive HalvingとSuccessive Rejectsに劣らなかった。
• 非凸目的関数を伴う行列補完タスクでは、Successive HalvingとSuccessive Rejectsが、均等割り当てよりもウォールクロック時間で2〜8倍速く、目標誤差率に到達した。
• 実験結果は、中間性能に基づく適応的リソース割り当てが顕著な高速化をもたらし、多様なデータセットとモデルにおいて一貫した改善をもたらすことを確認した。
• 各段階で予算をリセットするダブルイングトリックは、解釈可能性と性能を向上させ、とくに収束行動の分散が大きい設定において顕著であった。
• 損失系列が非単調的かつ非滑らかであっても、本手法は現実の訓練ダイナミクスに強く、頑健であることが示された。