[論文レビュー] Automatic Termination for Hyperparameter Optimization

Anastasia Makarova, Huibin Shen+6 more|arXiv (Cornell University)|Apr 16, 2021

Machine Learning and Data Classification被引用数 8

ひとこと要約

本稿では、交差検証の分散に基づくデータ駆動型しきい値と高確率の信頼区間を用いて、推定されたリグレットがグローバル最適解に十分に近い場合に最適化を停止する、ベイズ最適化におけるハイパラメータチューニングの自動終了基準を提案する。この手法は、過学習を低減し、計算コストを削減しながら、多様なHPOベンチマークで高いテスト性能を維持する。

ABSTRACT

Bayesian optimization (BO) is a widely popular approach for the hyperparameter optimization (HPO) in machine learning. At its core, BO iteratively evaluates promising configurations until a user-defined budget, such as wall-clock time or number of iterations, is exhausted. While the final performance after tuning heavily depends on the provided budget, it is hard to pre-specify an optimal value in advance. In this work, we propose an effective and intuitive termination criterion for BO that automatically stops the procedure if it is sufficiently close to the global optimum. Our key insight is that the discrepancy between the true objective (predictive performance on test data) and the computable target (validation performance) suggests stopping once the suboptimality in optimizing the target is dominated by the statistical estimation error. Across an extensive range of real-world HPO problems and baselines, we show that our termination criterion achieves a better trade-off between the test performance and optimization time. Additionally, we find that overfitting may occur in the context of HPO, which is arguably an overlooked problem in the literature, and show how our termination criterion helps to mitigate this phenomenon on both small and large datasets.

研究の動機と目的

• ベイズ最適化におけるハイパラメータチューニング（HPO）において、固定された予算を事前に指定することによる、性能の最適化不足や無駄な計算の問題に対処すること。
• バリデーション性能の向上がテスト性能の向上に直結しないという過学習を特定・緩和すること。
• 解の品質を維持しながら最適化時間を短縮できる、直感的かつ即時適用可能な終了基準を開発すること。
• 固定値ではなく、交差検証の統計的性質に基づくデータ駆動型の停止しきい値を提供すること。

提案手法

• 現在の最良解とグローバル最適解との差（単純なリグレット）に対する高確率上界を用いて、終了を誘導する。
• バリデーション推定子の分散に基づく終了しきい値を組み込み、バリデーション誤差とテスト誤差の不可避な差を考慮する。
• ユーザーが定義した許容誤差を超えてさらなる改善が得られ unlikely であるかどうかを動的に評価する。
• 任意のBOベースのHPO手法と互換性があり、Hyperbandなどの既存の高速化技術とも組み合わせ可能である。
• 反復回数やヒューリスティックな改善しきい値に依存せず、統計的信頼区間を用いていつ停止するかを決定する。
• 本手法はプラグインとして実装されており、下流の最適化ループを変更せずに標準的なHPOパイプラインに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 観測されたデータに適応し、過学習を回避する、ベイズ最適化におけるHPOのための自動終了基準を設計できるか？
• RQ2 交差検証の統計的分散が、バリデーションに基づく停止意思決定の信頼性にどのように影響するか？
• RQ3 交差検証の分散に基づくデータ駆動型しきい値を用いることで、最適化時間と最終的なテスト性能の間でより良いトレードオフが達成できるか？
• RQ4 交差検証が行われても、HPOにおいて過学習がどれほど深刻に発生するか、また自動終了がその緩和に寄与するか？
• RQ5 提案された終了基準は、異なるHPO最適化アルゴリズムやベンチマークデータセットに対してどれほど頑健か？

主な発見

• 提案された終了基準は、真のリグレットがユーザーが定義した許容範囲内にある場合に80%～90%の成功率で停止を達成し、高い解の品質を保証する。
• 過学習の緩和に効果的であることが、終了時におけるテスト性能が以降のラウンドよりも良好であることを示す正のRYCスコアから裏付けられる。
• HPO-BenchおよびNAS-Bench-201の両方で、最適化時間を短縮しながらもテスト性能を維持する点で、ベースラインを上回る。
• ランダムサーチやBOREを含むさまざまなHPO最適化アルゴリズムにおいて一貫した性能を示しており、強い頑健性を示す。
• 高速化は顕著で安定しており、固定反復回数や収束チェックに依存するベースラインと比較して、解の品質の低下が最小限に抑えられる。
• 本研究では、交差検証が行われてもHPOにおいて過学習が実際の問題であり、かつ見過ごされていることが明らかになった。早期停止はその防止に寄与する。