[論文レビュー] Recent Advances in Bayesian Optimization

Xilu Wang, Yaochu Jin+2 more|arXiv (Cornell University)|Jun 7, 2022

Advanced Bandit Algorithms Research被引用数 8

ひとこと要約

本論文は、2016年以降のベイジアン最適化の最近の進展を包括的に調査し、特に surrogate モデルと acquisition 関数設計における革新に焦点を当てている。9つの最適化課題—高次元性、制約、ノイズ、マルチファシリティ設定など—をカバーしている。分散型、異種性、公平性に配慮した最適化における主な未解決問題を特定している。特に、プライバシー保護型およびフェデレーテッドシステムにおける課題が強調されている。

ABSTRACT

Bayesian optimization has emerged at the forefront of expensive black-box optimization due to its data efficiency. Recent years have witnessed a proliferation of studies on the development of new Bayesian optimization algorithms and their applications. Hence, this paper attempts to provide a comprehensive and updated survey of recent advances in Bayesian optimization and identify interesting open problems. We categorize the existing work on Bayesian optimization into nine main groups according to the motivations and focus of the proposed algorithms. For each category, we present the main advances with respect to the construction of surrogate models and adaptation of the acquisition functions. Finally, we discuss the open questions and suggest promising future research directions, in particular with regard to heterogeneity, privacy preservation, and fairness in distributed and federated optimization systems.

研究の動機と目的

• 2016年以降のベイジアン最適化の進展、特に surrogate モデルと acquisition 関数設計における最新の体系的かつ包括的なレビューを提供すること。
• 高次元性、制約、ノイズなどの最適化課題に基づいて、既存のベイジアン最適化手法を9つの明確な問題領域に分類すること。
• 分散型、異種性、プライバシー保護型のベイジアン最適化設定における未解決の研究課題を特定・強調すること。
• 特に共同学習やフェデレーテッドラーニングの文脈において、ベイジアン最適化における公平性という未開拓の分野を調査すること。
• 公平性、異種性、プライバシー保護に関する有望な方向性を提案することで、今後の研究を導くこと。

提案手法

• 高次元空間、不連続領域、ノイズ、制約、計算複雑性、マルチタスク、マルチファシリティ、知識移転、並列化といった、中心的な課題に基づいて、ベイジアン最適化の研究を9つのグループに分類する。
• ガウス過程に基づく surrogate モデルの進展をレビューし、尤度最大化とさまざまな問題構造へのモデル適応に注目する。
• 探索と活用のバランスを保ちつつ、探索バイアスや各目的関数の評価時間の差を考慮した acquisition 関数の改善を分析する。
• FairBO を導入し、クエリ選択時に公平性制約を強制するために補助的な GP モデルを用いる制約付きベイジアン最適化フレームワークを議論する。
• Gini を用いた社会的評価関数を導入し、分散型バッチ GP-UCB アルゴリズムを拡張することで、共同環境における最適化効率と公平性のバランスを図る。
• 公平性定義をベイジアン最適化に統合するためのフレームワークを提案し、アルゴリズム統合の前に明確な公平性指標を定義することを提唱する。

実験結果

リサーチクエスチョン

• RQ1 最小限の関数評価回数で、高次元的かつ不連続な探索空間に効果的に適応できるベイジアン最適化の手法は何か？
• RQ2 特に共同またはフェデレーテッド環境において、公平性制約を効果的に統合する戦略は何か？
• RQ3 計算コストが著しく異なる異種の目的関数を扱うベイジアン最適化は、どのようにして実現できるか？
• RQ4 プライバシー保護型および分散型最適化システムへのベイジアン最適化の適用における主な課題と未解決問題は何か？
• RQ5 surrogate モデルと acquisition 関数は、最適化結果のデータ効率性と公平性を両立させるために、どのように設計すべきか？

主な発見

• 最近のベイジアン最適化の進展により、ガウス過程に基づく surrogate モデルの精緻化と適応的 acquisition 関数の改善により、高次元および制約付き最適化の性能が顕著に向上した。
• FairBO フレームワークは、補助的な GP モデルを用いて acquisition 関数最適化をガイドすることで、公平性制約を効果的に統合できたが、1つの公平性定義に限定されている。
• 分散型およびフェデレーテッドなベイジアン最適化システムは、効率性と公平性のバランスを取る課題を抱えており、『公平なレグレット』と Gini を用いた評価関数の導入が、有望な初期解決策を提供している。
• 計算コストが著しく異なる異種の目的関数を扱う最適化は、未だに十分に研究されておらず、このような環境における探索バイアス低減に関する研究は散発的であるにとどまっている。
• プライバシー保護型および公平性に配慮したベイジアン最適化は、まだ発展途上であり、標準化された公平性指標やスケーラブルなアルゴリズムは確立されていない。
• ベイジアン最適化への公平性の統合には、効果的なアルゴリズム的解決策を構築する前に、明確な数学的公平性概念の定義が必要である。