[論文レビュー] Robust Multi-Objective Bayesian Optimization Under Input Noise

Samuel Daulton, Sait Cakmak+4 more|arXiv (Cornell University)|Feb 15, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 6

ひとこと要約

本稿では、入力ノイズに対してロバストな最初の多目的ベイズ最適化手法を提案する。この手法は、目的が高確率で仕様を満たすことを保証するリスク指標である多変量バリューオブリスク（MVaR）を最適化することで実現される。MVaRの最適化をスケーラブルかつ理論的裏付けのある形で可能にするために、ランダムスカラライゼーションを用い、ノイズのある入力下でのロバストな設計を特定する点で、他の手法を上回る性能を発揮する。

ABSTRACT

Bayesian optimization (BO) is a sample-efficient approach for tuning design parameters to optimize expensive-to-evaluate, black-box performance metrics. In many manufacturing processes, the design parameters are subject to random input noise, resulting in a product that is often less performant than expected. Although BO methods have been proposed for optimizing a single objective under input noise, no existing method addresses the practical scenario where there are multiple objectives that are sensitive to input perturbations. In this work, we propose the first multi-objective BO method that is robust to input noise. We formalize our goal as optimizing the multivariate value-at-risk (MVaR), a risk measure of the uncertain objectives. Since directly optimizing MVaR is computationally infeasible in many settings, we propose a scalable, theoretically-grounded approach for optimizing MVaR using random scalarizations. Empirically, we find that our approach significantly outperforms alternative methods and efficiently identifies optimal robust designs that will satisfy specifications across multiple metrics with high probability.

研究の動機と目的

• 実世界の応用において、入力ノイズに対してロバストな多目的ベイズ最適化手法が不足しているという問題に取り組む。
• 入力摂動下での目的分布の多変量バリューオブリスク（MVaR）を最小化することで、ロバストな多目的最適化を形式化する。
• 高次元のCDFの直接計算を回避する、スケーラブルで理論的裏付けのあるMVaR最適化手法を開発する。
• 入力ノイズ下でも複数の目的で高い性能を維持する設計を高確率で達成することを保証する。
• ノイズのある入力パラメータがある中で、性能仕様を満たすロバストな設計を特定する点で、既存手法を上回ること。

提案手法

• 入力ノイズ下での目的ベクトルの多変量バリューオブリスク（MVaR）を最大化する最適化目標を形式化し、高確率での性能を保証する。
• ランダムスカラライゼーションを用いてMVaR最適化問題を一連の単目的問題に変換し、獲得関数の効率的最適化を可能にする。
• 準モンテカルロ（QMC）サンプリングを用いて、入力ノイズ下での目的ベクトルの経験的CDFを推定し、MVaRの計算を可能にする。
• 各目的の独立したVaRに基づくMVaRの境界を活用して、計算コストを削減するため、グリッド計算を関連する領域に制限する。
• 小〜中程度のサンプルサイズを想定したMVaR計算ルーチンと、大規模なサンプルに対してメモリ効率を最適化したルーチンの2種類を実装する。
• ガウス過程モデルを用いて不確実性下での獲得をガイドするベイズ最適化ループに、MVaR最適化フレームワークを統合する。

実験結果

リサーチクエスチョン

• RQ1 複数の目的が摂動に敏感な状況下で、多目的ベイズ最適化を入力ノイズに対してロバストにできるか？
• RQ2 MVaRは、ノイズ環境下での多目的ロバスト設計において適切で解釈可能なリスク指標とみなせるか？
• RQ3 高次元の入力空間および目的空間において、計算が非効率になることなくMVaRを効率的に最適化できるか？
• RQ4 ランダムスカラライゼーションは、MVaR制約下でのスケーラブルな獲得最適化をどのように可能にするか？
• RQ5 提案手法は、入力ノイズ下でロバストな設計を特定する点で、既存の単目的ロバストBOおよび非ロバストなMO-BOベースラインを上回るか？

主な発見

• 提案手法は、入力ノイズ下でも複数の性能仕様を高確率で満たすロバストな設計を特定する点で、他のアプローチを顕著に上回る。
• ノイズのある条件下でも、非ロバストおよび単目的ロバストベースラインと比較して、真のパレートフロンティアへの収束が良好である。
• ランダムスカラライゼーションにより、理論的保証を伴う取り扱い可能な単目的問題にMVaRを変換することで、効率的な獲得最適化が可能になる。
• 各目的の独立したVaRを超える領域にグリッドを制限することで、MVaR計算が高速化され、計算複雑度がO(n_ξ^M M)からO((1−α)^M n_ξ^M M)に削減される。
• 本手法は高いサンプル効率を維持しており、競合手法と比較して、ロバストな設計を特定するために必要な目的評価回数が少ない。
• 実験的結果から、MVaRに基づく手法は、非ロバストな代替手法よりもわずかに名目性能が劣る場合でも、入力摂動に対して感受性が低い設計を特定していることが示された。