[論文レビュー] Improved Max-value Entropy Search for Multi-objective Bayesian Optimization with Constraints

Daniel Fernández-Sánchez, Eduardo C. Garrido‐Merchán+1 more|arXiv (Cornell University)|Nov 2, 2020

Advanced Multi-Objective Optimization Algorithms被引用数 4

ひとこと要約

MESMOC+ は、関数空間におけるパレートフロンティアのエントロピーを最小化することで、線形計算コストで効率的かつ情報理論的に優れた探索を可能にする、制約付き多目的ベイズ最適化のための新規な獲得関数である。この手法は、エントロピー推定の正確さと最適化性能において先行手法を上回り、特に入力位置とブラックボックスの評価先を独立に選択できる分離評価設定において優れた性能を発揮する。

ABSTRACT

We present MESMOC+, an improved version of Max-value Entropy search for Multi-Objective Bayesian optimization with Constraints (MESMOC). MESMOC+ can be used to solve constrained multi-objective problems when the objectives and the constraints are expensive to evaluate. MESMOC+ works by minimizing the entropy of the solution of the optimization problem in function space, i.e., the Pareto frontier, to guide the search for the optimum. The cost of MESMOC+ is linear in the number of objectives and constraints. Furthermore, it is often significantly smaller than the cost of alternative methods based on minimizing the entropy of the Pareto set. The reason for this is that it is easier to approximate the required computations in MESMOC+. Moreover, MESMOC+'s acquisition function is expressed as the sum of one acquisition per each black-box (objective or constraint). Thus, it can be used in a decoupled evaluation setting in which one chooses not only the next input location to evaluate, but also which black-box to evaluate there. We compare MESMOC+ with related methods in synthetic and real optimization problems. These experiments show that the entropy estimation provided by MESMOC+ is more accurate than that of previous methods. This leads to better optimization results. MESMOC+ is also competitive with other information-based methods for constrained multi-objective Bayesian optimization, but it is significantly faster.

研究の動機と目的

• ベイズ最適化を用いて、評価が高価な複数の目的関数と制約を同時に最適化する課題に取り組む。
• 多目的および制約付き設定におけるエントロピーに基づく獲得関数の計算コストを低減する。
• 各イテレーションで入力位置と評価するブラックボックスを独立に選択できる分離評価を可能にする。
• 既存手法と比較して、パレートフロンティアのエントロピー推定の正確さを向上させる。
• 少ない評価回数でより優れた最適化性能を達成しつつ、1イテレーションあたりの計算コストを低く維持する。

提案手法

• 制約付き多目的最適化に特化した改善型最大値エントロピー探索（MES）フレームワーク（MESMOC+）を提案する。
• 目的関数と制約をガウス過程としてモデル化し、入力空間の未探索領域における不確実性を推定する。
• 獲得関数を関数空間におけるパレートフロンティアのエントロピーの期待的減少量として定義する。
• 各ブラックボックス（目的関数または制約）ごとの寄与を個別に表現することで、分離評価を可能にする。
• 計算不能なエントロピー減少をモンテカルロサンプルを用いて近似し、目的関数および制約の数に対して線形な計算コストを実現する。
• カップルド評価モードとデカップルド評価モードの両方をサポートする。後者では、評価する場所だけでなく、どのブラックボックスを評価するのかも選択可能である。

実験結果

リサーチクエスチョン

• RQ1 エントロピーに基づく獲得関数は、多目的最適化と制約を組み合わせた設定において、計算コストを低く保ちつつ効率的に拡張可能か？
• RQ2 MESMOC+ におけるパレートフロンティアのエントロピー推定の正確さは、制約付き多目的設定において既存手法と比較してどの程度優れているか？
• RQ3 MESMOC+ が備える分離評価機能は、同じ評価回数で最適化性能の向上をもたらすか？
• RQ4 MESMOC+ は、制約付き多目的ベイズ最適化における最先端の情報理論的手法と比較して、効率性と収束速度で優れているか？
• RQ5 実世界の問題において、MESMOC+ は PESMOC や RANDOM といったベースライン手法と比較して、より高いハイパーボリュームのパレートフロンティアを達成できるか？

主な発見

• MESMOC+ は、従来手法と比較して顕著に正確なエントロピー推定を達成し、より優れた最適化結果をもたらした。
• 分離評価版の MESMOC+ はカップルド版を上回り、同じ評価回数でより高いハイパーボリュームのパレートフロンティアを達成した。
• ニューラルネットワークのハイパーパramータチューニングタスクにおいて、PESMOC${}_{\text{dec}}$ が100回の評価後に最高のハイパーボリュームを達成し、それに次いで MESMOC+${}_{\text{dec}}$ が非常に近い性能を示した。
• 100回の評価後、MESMOC+${}_{\text{dec}}$ と PESMOC${}_{\text{dec}}$ の性能差は最小限に抑えられ、収束が著しく良好であることが示された。
• MESMOC+${}_{\text{dec}}$ は、多数の評価を予測誤差ブラックボックスに集中させた。これは、そのブラックボックスがより最適化が困難であることを示している。
• 目的関数および制約の数に対して線形な計算コストを実現しているため、MESMOC+ は競合する情報ベースの手法と比較して、1イテレーションあたり著しく高速である。