[論文レビュー] Inducing Point Allocation for Sparse Gaussian Processes in High-Throughput Bayesian Optimisation

Henry B. Moss, Sebastian W. Ober+1 more|arXiv (Cornell University)|Jan 24, 2023

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、品質・多様性分解された行列式点過程（DPP）を用いて、スパースガウス過程におけるBO特化型の誘導点配置（IPA）を提案する。この手法は、探索空間の有望領域における高精度モデリングを優先する。既存のIPA戦略に比べて、モデリング能力を高価値領域に集中させることで、合成的および実世界の高スルーレットなベイズ最適化タスクにおいて、ベースラインを上回る最適化性能を実現する。

ABSTRACT

Sparse Gaussian Processes are a key component of high-throughput Bayesian Optimisation (BO) loops; however, we show that existing methods for allocating their inducing points severely hamper optimisation performance. By exploiting the quality-diversity decomposition of Determinantal Point Processes, we propose the first inducing point allocation strategy designed specifically for use in BO. Unlike existing methods which seek only to reduce global uncertainty in the objective function, our approach provides the local high-fidelity modelling of promising regions required for precise optimisation. More generally, we demonstrate that our proposed framework provides a flexible way to allocate modelling capacity in sparse models and so is suitable broad range of downstream sequential decision making tasks.

研究の動機と目的

• 高スルーレットなベイズ最適化（BO）における既存の誘導点配置（IPA）戦略の性能が低い理由は、グローバルな回帰精度を重視する一方で、有望領域におけるローカルな忠実度が不足しているため、これを是正すること。
• BOに特化した新たなIPAフレームワークを構築し、行列式点過程（DPP）の品質・多様性分解を活用して、探索と活用のバランスを取ること。
• BO特化型IPAが、期待改善度が高くなる領域にモデリング能力を集中させることで、最適化性能を顕著に向上させられることを示すこと。
• スパースモデルにおけるモデリングリソースを割り当てる一般的で柔軟なフレームワークを提供し、多数の逐次意思決定タスクに応用可能であること。

提案手法

• 品質・多様性分解されたDPPを用い、品質関数が有望領域（例：有望な最適解）への配置を導き、多様性が探索空間のカバーを保証する。
• 多目的BOにおける誘導点配置を導くために、候補点が支配するハイパーボリューム（HV）に基づく新しい品質関数を導入し、HV-DPPと呼ぶ。
• 単目的BOでは、期待改善度（EI）に基づく品質関数を採用し、DPPフレームワークに統合することで、不確実性低減度が高い領域での高精度モデリングを促進する。
• 確率的変分ベイズガウス過程（SVGP）と互換性があり、わずか100個の誘導点でスケーラブルで高スルーレットな最適化を実現できる。
• 多目的BOにおける目的関数や制約の複数のモデルに対して、別々のIPAを可能とし、品質関数を共有することで、複数モデル間の配置を調整可能にする。
• 標準的なSVGPとは異なり、ユークリッド空間を前提としないため、分子や遺伝子といった離散構造への応用が可能になる。

Figure 1: A toy problem showing two sparse GP surrogate models, one with its inducing points chosen using an existing method (top) and the other using one of our proposed BO-specific methods (bottom) that focuses modelling resources into promising areas of the search space. Our model is better suite

実験結果

リサーチクエスチョン

• RQ1 スパースGP用の既存の誘導点配置戦略は、高スルーレットな設定における高精度なベイズ最適化を効果的にサポートできるか？
• RQ2 誘導点配置を再構築することで、グローバルな回帰精度よりも、有望領域におけるローカルな高精度モデリングを優先できるか？
• RQ3 品質・多様性分解DPPを用いて、柔軟でBO最適化に特化したIPAフレームワークを構築でき、最適化性能を向上させられるか？
• RQ4 わずか100個の誘導点を用いたスパースGPが、高スルーレットな多目的最適化タスクにおいて、正確なGPと同等の性能を達成できるか、その程度はいかほどか？

主な発見

• 提案されたHV-DPP IPA戦略は、4次元ZDT3多目的ベンチマークで正確なガウス過程と同等以上に性能を発揮し、ハイパーボリューム支配の観点ですべてのベースラインを上回った。
• 実世界の自動車ヒートエクスチェンジャ設計タスクにおいて、わずか100個の誘導点を用いたSVGPと本手法を組み合わせた場合、高価な正確なGPと同等のパレートフロントを達成した。
• 正確なGPに比べて最適化のオーバーヘッドを1桁以上削減しながらも、高い最適化性能を維持した。
• 品質・多様性DPPフレームワークから導出されたIMP-DPPバージョンは、Burtら（2019）の条件付き分散低減IPAを上回り、以前BO設定では性能が低かった。
• 本フレームワークにより、分子や遺伝子といった離散構造における高スルーレットなBOが効果的に可能となり、ユークリッド空間を超えた応用が可能になった。
• ハイパーボリューム（HV）に基づく品質関数は、パレートフロントの中心領域に強くバイアスをかけるとともに、評価が高速で、大規模最適化に適している。

(a)