[論文レビュー] Multi-Fidelity Cost-Aware Bayesian Optimization

Zahra Zanjani Foumani, Mehdi H. Shishehbor+2 more|arXiv (Cornell University)|Nov 4, 2022

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿では、新規の獲得関数と特化した潜在マップガウス過程（LMGP）エミュレータを用いることで、多忠実度コスト感知型ベイズ最適化フレームワークを提案する。この手法は、著しくバイアスの強い低忠実度ソースを自動で同定・除外することで、高価な高忠実度の目的関数を最小限のサンプリングコストで最適化し、効率性、ロバスト性、収束性を向上させる。

ABSTRACT

Bayesian optimization (BO) is increasingly employed in critical applications such as materials design and drug discovery. An increasingly popular strategy in BO is to forgo the sole reliance on high-fidelity data and instead use an ensemble of information sources which provide inexpensive low-fidelity data. The overall premise of this strategy is to reduce the overall sampling costs by querying inexpensive low-fidelity sources whose data are correlated with high-fidelity samples. Here, we propose a multi-fidelity cost-aware BO framework that dramatically outperforms the state-of-the-art technologies in terms of efficiency, consistency, and robustness. We demonstrate the advantages of our framework on analytic and engineering problems and argue that these benefits stem from our two main contributions: (1) we develop a novel acquisition function for multi-fidelity cost-aware BO that safeguards the convergence against the biases of low-fidelity data, and (2) we tailor a newly developed emulator for multi-fidelity BO which enables us to not only simultaneously learn from an ensemble of multi-fidelity datasets, but also identify the severely biased low-fidelity sources that should be excluded from BO.

研究の動機と目的

• 多忠実度ベイズ最適化におけるバイアスの強い低忠実度データの課題に対処すること。これは収束を誤導し、性能を低下させる要因となる。
• 忠実度-コスト関係に関する事前知識を不要とすることで、複数のデータソースにおける相対的忠実度レベルを自動で学習可能とすること。
• 複数の忠実度データを統合してモデリングすることで、数値的安定性とサンプリング効率を向上させるとともに、信頼性の低い低忠実度ソースを同定・除外すること。
• 多数の安価なが、バイアスの強い低忠実度ソースからのサンプルに依存する状況でも、収束が保証されるロバストな獲得関数の開発。
• 異種のデータソース間でコスト、忠実度、予測不確実性をバランスさせることで、高価な最適化タスクにおける効果的なリソース配分を可能とすること。

提案手法

• 各ソース固有のコストと予測不確実性を組み込んだ新規の獲得関数を提案。これにより、バイアスの強い低忠実度データによる影響を受けることなく収束が保証される。
• カテゴリカルおよび数値入力を共通の潜在空間にマッピングする潜在マップガウス過程（LMGP）エミュレータを採用。これにより、複数のソース間で統合学習が可能となる。
• トレーニング中に高忠実度データとの予測差異を分析することで、著しくバイアスの強い低忠実度ソースを同定・除外するメカニズムを導入。
• すべてのデータソースにわたって、相関構造およびスケールパラメータを含むLMGPのハイパーパrameterを最尤推定（MLE）により学習。
• 共分散関数にクロネッカー積構造を適用し、複数ソース間の相関を効率的にモデル化するとともに、計算の tractability を維持。
• 各候補点のソースの忠実度、コスト、不確実性低減への寄与度に基づいて重み付けを行うことで、コスト感知型のサンプリング意思決定を統合。

実験結果

リサーチクエスチョン

• RQ1 低忠実度ソースが著しくバイアスを有する場合でも、それが非常に安価に取得可能であっても、多忠実度ベイズ最適化フレームワークは収束性と精度を維持できるか？
• RQ2 忠実度レベルに関する事前知識を必要とせずに、バイアスの強い低忠実度データソースを自動で同定・除外できるか？
• RQ3 提案されたコスト感知型獲得関数は、最先端の多忠実度BO手法と比較して、最適化の効率性とロバスト性をどの程度向上させるか？
• RQ4 提案されたフレームワークは、ユーザーが事前に定義するのではなく、データから相対的忠実度レベルを学習できるか？
• RQ5 潜在マップガウス過程の統合により、多忠実度最適化における数値的安定性と予測精度はどの程度向上するか？

主な発見

• 提案されたLMGP CAフレームワークは、解析的問題および工学的問題（Borehole関数、NTA/ペロブスカイト材料設計など）において、最先端の手法と比較してより速い収束と低い最適化コストを達成した。
• Borehole関数において、著しくバイアスの強い低忠実度ソース（LF1およびLF2）が含まれても、誤った最適解への収束を回避した。これに対して、ベースライン手法は同様の条件下で失敗した。
• Borehole関数において、提案手法は単一忠実度BOと比較して、相対二乗平均二乗誤差（RRMSE）を最大90％まで低減し、優れたサロゲート精度を示した。
• 獲得関数は、必要に応じて高忠実度のサンプリングを優先的に実行することができ、安価な低忠実度データに依存することを減らした。これにより、収束のロバスト性が維持された。
• LMGPエミュレータは、予測差異に基づいてバイアスの強いソース（BoreholeにおけるLF1およびLF2など）を同定・除外し、手動の介入なしにモデルの信頼性を向上させた。
• ナノレイヤード三元合金（NTA）やハイブリッドペロブスカイトを含む工学的応用において、ベースライン手法と比較して高忠実度評価回数を著しく削減しながら、ほぼ最適な性能を達成した。