[論文レビュー] Overfitting in Bayesian Optimization: an empirical study and early-stopping solution

Anastasia Makarova, Huibin Shen+6 more|arXiv (Cornell University)|May 7, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 27被引用数 9

ひとこと要約

本論文は、ハイパラメータチューニングにおけるベイジアン最適化（BO）の過学習を調査し、小さなデータセットでもバリデーション指標が向上する中でBOが過学習することを示している。過学習を防ぐために、予測不確実性とモデル適合度に基づく早期停止基準を提案しており、実世界の実験において、ベースラインと比較してより適応的に不要な反復を削減しながらも解の品質を維持していることを示している。

ABSTRACT

Tuning machine learning models with Bayesian optimization (BO) is a successful strategy to find good hyperparameters. BO defines an iterative procedure where a cross-validated metric is evaluated on promising hyperparameters. In practice, however, an improvement of the validation metric may not translate in better predictive performance on a test set, especially when tuning models trained on small datasets. In other words, unlike conventional wisdom dictates, BO can overfit. In this paper, we carry out the first systematic investigation of overfitting in BO and demonstrate that this issue is serious, yet often overlooked in practice. We propose a novel criterion to early stop BO, which aims to maintain the solution quality while saving the unnecessary iterations that can lead to overfitting. Experiments on real-world hyperparameter optimization problems show that our approach effectively meets these goals and is more adaptive comparing to baselines.

研究の動機と目的

• ベイジアン最適化におけるハイパラメータチューニング時の過学習の程度と影響、特に小さなデータセットにおける影響を調査すること。
• バリデーション指標が向上しても常にテスト性能が向上するという従来の仮定に疑問を呈すること。
• 過学習を防ぎつつBOにおける解の品質を維持する、新しい早期停止基準を開発すること。
• 実世界のハイパラメータ最適化シナリオにおいて、提案手法を既存のベースラインと比較すること。

提案手法

• 著者らは、BOの反復中に予測不確実性とモデル適合度をモニタリングすることで、さらなる最適化が過学習を引き起こす可能性がある段階を検出する、新たな停止基準を導入している。
• この基準は、スラグレートモデルからの不確実性推定とバリデーション指標の変化を組み合わせて、最適化プロセスを停止するタイミングを決定する。
• 観測された性能向上のトレンドと不確実性の増加に基づいて、停止タイミングを動的に適応させる。
• 小規模から中規模のデータセットサイズを対象とした実世界のハイパラメータチューニングタスクにおいて、交差検証による指標を用いてアプローチを評価している。
• 停止ルールは軽量であり、標準的なBOフレームワークと互換性があり、標準BO設定に追加のハイパーパラメータを必要としない。
• 固定反復回数または固定改善閾値に基づくベースラインの早期停止戦略と比較している。

実験結果

リサーチクエスチョン

• RQ1 バリデーション指標が向上する中で、小さなデータセット上でモデルをチューニングする際、ベイジアン最適化はどの程度過学習を起こすのか？
• RQ2 バリデーション性能に依存せずに、最適化プロセスの途中でBOにおける過学習を早期に検出する方法は何か？
• RQ3 不確実性とモデル適合度に基づく動的早期停止基準は、過学習を効果的に防ぎつつ、高品質な解を維持できるか？
• RQ4 固定反復回数および固定改善量のベースラインと比較して、提案手法は一般化性能と効率性においてどのように異なるか？

主な発見

• ベイジアン最適化における過学習は、小さなデータセットで特に深刻で、かつ軽視されがちな問題である。バリデーション指標が向上しても、過学習は発生する。
• 提案された早期停止基準は、一般化性能が低下する可能性がある反復を検出し、過学習を効果的に防いでいる。
• ベースラインと比較して、不要な最適化反復を削減しながら、最終的なテスト性能を維持または向上させている。
• 特にデータが限られた状況では、固定反復回数や固定改善量の停止ルールよりも、本手法がより適応的であることが示された。
• 実世界のハイパラメータチューニング問題における実験結果から、本手法が解の品質と最適化効率のバランスを効果的にとれていることが確認された。
• 予測不確実性を停止のシグナルとして用いることで、ノイズが多いまたは誤解を招く可能性のあるバリデーション指標に対しても、よりロバストな性能が得られた。