[論文レビュー] An Empirical Study of Assumptions in Bayesian Optimisation

Alexander I. Cowen-Rivers, Wenlong Lyu+8 more|arXiv (Cornell University)|Dec 7, 2020

Gaussian Processes and Bayesian Inference参考文献 84被引用数 21

ひとこと要約

本論文は、機械学習のハイパーパramータチューニングにおけるベイジアン最適化の根幹的仮定を実証的に調査している。実世界のタスクではしばしば異分散性と非定常性が見られ、Paretoフロント解を用いた多目的の獲得関数アンサンブルと、頑健な獲得関数最適化が、標準的手法に比べて最適化性能を顕著に向上させることを示している。

ABSTRACT

Inspired by the increasing desire to efficiently tune machine learning hyper-parameters, in this work we rigorously analyse conventional and non-conventional assumptions inherent to Bayesian optimisation. Across an extensive set of experiments we conclude that: 1) the majority of hyper-parameter tuning tasks exhibit heteroscedasticity and non-stationarity, 2) multi-objective acquisition ensembles with Pareto-front solutions significantly improve queried configurations, and 3) robust acquisition maximisation affords empirical advantages relative to its non-robust counterparts. We hope these findings may serve as guiding principles, both for practitioners and for further research in the field.

研究の動機と目的

• ベイジアン最適化における従来の仮定、特に定常性と均一分散性の妥当性を、実世界のハイパーパramータチューニングタスクにおいて検証すること。
• Paretoフロント解を活用する多目的の獲得関数が、設定品質の向上にどの程度有効であるかを評価すること。
• 獲得関数最適化における不確実性を考慮した頑健な獲得関数最適化が、実験的性能を向上させるかどうかを評価すること。
• ベイジアン最適化分野における研究者および実務家に役立つ実務的知見と指針を提供すること。

提案手法

• 多様なハイパーパramータチューニングタスクを対象に、広範な実証的実験を実施し、モデル仮定を評価した。
• Paretoフロント解を用いてトレードオフをバランスさせる複数の基準を同時に最適化する多目的の獲得関数アンサンブルを評価した。
• 獲得関数最適化における不確実性を組み込むことで、ノイズの多い評価への感受性を低減する、頑健な獲得関数最適化を実装した。
• 同一の実験条件下で、頑健なと非頑健な獲得関数最適化戦略を比較し、その性能差を明確にした。
• ベンチマークタスク全体における目的関数の統計的性質、特に異分散性と非定常性を分析した。
• 標準的なベイジアン最適化フレームワーク（例：ガウス過程）をベースモデルとし、獲得関数設計および最適化の改良を加えた。

実験結果

リサーチクエスチョン

• RQ1 実世界のハイパーパramータチューニングタスクでは、ベイジアン最適化における定常性と均一分散性の仮定がどの程度破られるか？
• RQ2 Paretoフロント解に基づく多目的の獲得関数アンサンブルは、単目的の獲得関数と比較して、設定品質においてどの程度優れているか？
• RQ3 獲得関数最適化における不確実性を考慮した頑健な獲得関数最適化は、非頑健な手法に比べて測定可能な性能向上をもたらすか？
• RQ4 標準的なベイジアン最適化におけるどの仮定が実務で最も頻繁に破られるか？ また、その違反が最適化結果にどのように影響を与えるか？

主な発見

• ハイパーパramータチューニングタスクの大部分は、顕著な異分散性と非定常性を示しており、標準的な定常的・均一分散的関数という仮定に疑問を呈する。
• Paretoフロント解を組み込んだ多目的の獲得関数アンサンブルは、単目的手法に比べて、照合された設定の品質に顕著な向上をもたらす。
• 頑健な獲得関数最適化は、非頑健な手法に比べて一貫して優れた性能を示し、収束性と解の品質の両面で実証的利点を示した。
• 本研究の結果は、従来のベイジアン最適化の仮定が実務で頻繁に破られることが示唆されており、より柔軟で頑健な最適化戦略の必要性を示している。