[論文レビュー] Trust Region Constrained Bayesian Optimization with Penalized Constraint Handling

Raju Chowdhury, Tanmay Sen+2 more|arXiv (Cornell University)|Mar 25, 2026

Advanced Multi-Objective Optimization Algorithms被引用数 0

ひとこと要約

本論文は、制約を扱うための大Mペナルティを用いた信頼域ベイズ最適化法であるTR-MEIを提案し、SCBOやFuRBOと比較して収集サンプル効率と実現可能性を改善した高次元制約最適化を実現する。

ABSTRACT

Constrained optimization in high-dimensional black-box settings is difficult due to expensive evaluations, the lack of gradient information, and complex feasibility regions. In this work, we propose a Bayesian optimization method that combines a penalty formulation, a surrogate model, and a trust region strategy. The constrained problem is converted to an unconstrained form by penalizing constraint violations, which provides a unified modeling framework. A trust region restricts the search to a local region around the current best solution, which improves stability and efficiency in high dimensions. Within this region, we use the Expected Improvement acquisition function to select evaluation points by balancing improvement and uncertainty. The proposed Trust Region method integrates penalty-based constraint handling with local surrogate modeling. This combination enables efficient exploration of feasible regions while maintaining sample efficiency. We compare the proposed method with state-of-the-art methods on synthetic and real-world high-dimensional constrained optimization problems. The results show that the method identifies high-quality feasible solutions with fewer evaluations and maintains stable performance across different settings.

研究の動機と目的

• 高価な評価を伴う高次元黒箱制約最適化の課題に対処する。
• ベイズ最適化フレームワークに大Mペナルティ制約処理を組み込む。
• 高次元での安定性と効率を改善するために局所的な信頼域を活用する。
• ペナルティ付き目的関数に基づくEIを用いて探索と活用のバランスを取る。

提案手法

• 制約違反に対する大Mペナルティによって制約付き問題を無制約問題に変換する。
• 目的関数と各制約を独立したガウス過程でモデリングする。
• ペナルティ付き目的関数の予測分布を用いてペナルティ付きEI（M-EI）を定義する。
• 現在の最良解の周囲のハイパーレクトリック信頼領域内に最適化を制限する。
• 進捗に基づいて surrogate モデルと信頼領域サイズを反復的に更新する。

Figure 1: Ackley

実験結果

リサーチクエスチョン

• RQ1 TR-MEIは既存の高次元制約BO法よりも少ない評価回数で高品質な実現可能解を得られるか。
• RQ2 大Mペナルティと信頼領域を統合することで高次元の制約設定における安定性とスケーラビリティは向上するか。
• RQ3 TR-MEIは合成制約ベンチマークにおいて実現性と目的関数値の観点でSCBOおよびFuRBOとどのように比較されるか。
• RQ4 ペナルティベースの無制約形式は、初期点が不可行であっても有効に機能するか。

主な発見

• TR-MEIはベンチマーク問題全体でより少ない関数評価で高品質な実現可能解を特定する。
• Ackley、Levy、Rastrigin（20D）で、TR-MEIはFuRBOおよびSCBOよりも実現可能な最適解への収束が速い。
• TR-MEIは問題設定の異なる状況でも堅牢で安定した性能を示す。
• ペナルティにより不可行点からの開始が可能となり、実現可能性へ導く。
• SCBOおよびFuRBOと比較して、TR-MEIはThompsonサンプリングに依存せず、解析的に解釈可能なEIを提供する。

Figure 2: Levy