[論文レビュー] HEBO: Heteroscedastic Evolutionary Bayesian Optimisation.

Alexander I. Cowen-Rivers, Wenlong Lyu+5 more|arXiv (Cornell University)|Dec 7, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 24被引用数 19

ひとこと要約

HEBOは、非定常的かつ異分散的な目的関数を多目的の獲得関数アンサンブルと頑健な獲得関数最大化によってモデル化することで、ハイパーパramータチューニングを改善する非定常的で異分散的な進化的ベイズ最適化フレームワークを提案する。この手法は、非頑健で従来の手法と比較して優れた構成クエリと実験的性能を達成する。

ABSTRACT

Inspired by the increasing desire to efficiently tune machine learning hyper-parameters, in this work we rigorously analyse conventional and non-conventional assumptions inherent to Bayesian optimisation. Across an extensive set of experiments we conclude that: 1) the majority of hyper-parameter tuning tasks exhibit heteroscedasticity and non-stationarity, 2) multi-objective acquisition ensembles with Pareto-front solutions significantly improve queried configurations, and 3) robust acquisition maximisation affords empirical advantages relative to its non-robust counterparts. We hope these findings may serve as guiding principles, both for practitioners and for further research in the field.

研究の動機と目的

• 従来のベイズ最適化がハイパーパramータチューニングにおいて前提としている仮定を調査すること。
• 現実世界のハイパーパramータ最適化タスクにおける異分散性と非定常性の広範な存在に応えること。
• パレートフロントに基づく多目的の獲得関数アンサンブルを通じて、構成クエリの質を向上させること。
• 獲得関数最大化における頑健性を高め、より優れた実験的パフォーマンスを実現すること。
• ベイズ最適化分野における研究者や実務家が参考にできる指針を提供すること。

提案手法

• この手法は、入力空間全体にわたり変動する不確実性推定を学習することで、目的関数における異分散性をモデル化する。
• 探索空間を効果的に探索し、獲得関数最適化を導くために進化的戦略を採用する。
• 複数の獲得関数を組み合わせることで多様性を促進し、パレートフロントへの収束を図る、多目的の獲得関数アンサンブルを用いる。
• ノイズや不確実性のある評価に対応できるように、獲得関数最大化を頑健に実装することで、安定性とパフォーマンスを向上させる。
• 進化的探索とベイズ最適化を統合することで、柔軟で適応的な探索が可能になる。
• 有効性を検証するため、広範なハイパーパramータチューニングタスクのセットを対象にアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 現実世界のハイパーパramータチューニングタスクにおいて、どの程度異分散性と非定常性が顕在化しているか。
• RQ2 パレートフロント解に基づく多目的の獲得関数アンサンブルを用いることで、クエリされた構成の質にどのような影響が生じるか。
• RQ3 非頑健なバージョンと比較して、頑健な獲得関数最大化が実験的に及ぼす影響は何か。
• RQ4 異分散的モデリングは、非定常な状況下でのベイズ最適化のパフォーマンスを向上させることができるか。
• RQ5 ベイズ最適化における従来の仮定と非従来の仮定を分析することで、どのような設計原則が浮かび上がるか。

主な発見

• ハイパーパramータチューニングタスクの大多数が顕著な異分散性と非定常性を示しており、標準的なベイズ最適化の仮定に挑戦する。
• パレートフロント解に基づく多目的の獲得関数アンサンブルは、クエリされた構成の質に顕著な向上効果をもたらす。
• 頑健な獲得関数最大化は、実験的パフォーマンスの観点で、非頑健な対応手法を一貫して上回る。
• 提案されたHEBOフレームワークは、ベースライン手法と比較して、構成探索の効率性と収束性が優れている。
• これらの発見は、今後のベイズ最適化システムにおいて、異分散的および頑健なモデリングを優先すべきであることを示唆する。
• 本研究は、ハイパーパramータチューニング分野における実務家や今後の研究に役立つ実用的で具体的な知見と指針を提供する。