[論文レビュー] Max-value Entropy Search for Multi-Objective Bayesian Optimization with Constraints

Syrine Belakaria, Aryan Deshwal+1 more|arXiv (Cornell University)|Sep 1, 2020

Advanced Multi-Objective Optimization Algorithms被引用数 13

ひとこと要約

この論文は、出力空間におけるパレートフロントに関する情報量の増加を最大化する入力を選択する、制約付き多目的ベイズ最適化のための新規なmax-value entropy search手法MESMOCを提案する。実世界の工学的応用において、関数評価回数を減らしながらも、PESMOC、MOEAD、NSGA-IIといった最先端手法に比べて顕著に高いハイパーボリュームと制約満たし率を達成している。

ABSTRACT

We consider the problem of constrained multi-objective blackbox optimization using expensive function evaluations, where the goal is to approximate the true Pareto set of solutions satisfying a set of constraints while minimizing the number of function evaluations. For example, in aviation power system design applications, we need to find the designs that trade-off total energy and the mass while satisfying specific thresholds for motor temperature and voltage of cells. This optimization requires performing expensive computational simulations to evaluate designs. In this paper, we propose a new approach referred as {\\em Max-value Entropy Search for Multi-objective Optimization with Constraints (MESMOC)} to solve this problem. MESMOC employs an output-space entropy based acquisition function to efficiently select the sequence of inputs for evaluation to uncover high-quality pareto-set solutions while satisfying constraints. We apply MESMOC to two real-world engineering design applications to demonstrate its effectiveness over state-of-the-art algorithms.

研究の動機と目的

• 工学設計における高価で制約付きの多目的ブラックボックス最適化の課題に対処すること。
• 複数の制約下で真のパレート集合を近似するために必要な関数評価回数を削減すること。
• 従来の入力空間エントロピー手法よりも、より効率的で正確な獲得関数を開発すること。
• 電気推進航空パワーシステムやアナログ回路設計のような実世界の応用において、強固でスケーラブルな最適化を可能にすること。
• PESMOC や NSGA-II といった最先端手法と比較して、制約処理能力と収束速度を向上させること。

提案手法

• MESMOCは、最適なパレートフロントに関する情報量の増加を最大化する出力空間エントロピーに基づく獲得関数を用い、入力を選択する。
• 単目的最適化におけるmax-value entropy search (MES)の原則を、多目的制約付き最適化へと拡張する。
• 目的関数と制約をガウス過程でモデル化し、出力空間における情報量の増加を計算することで、効率的な最適化を実現する。
• サンプリングに基づく近似を用いることで、入力空間の代替手法よりも高速かつタイトな計算が可能になる。
• 獲得関数はDIRECTを用いて最適化され、すべての制約を満たしながら探索と活用のバランスをとる。
• アルゴリズムは繰り返し新しい点を選択し、サーヴィエイントモデルを更新してパレートフロントの推定値を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 制約付き多目的最適化において、出力空間エントロピー探索は、入力空間エントロピー探索よりもより効率的で正確な獲得関数を提供できるか？
• RQ2 ハイパーボリュームと制約満たし率の観点から、MESMOCはPESMOC、MOEAD、NSGA-IIといった最先端手法と比較してどのように異なるか？
• RQ3 実世界の工学的問題において、高価な関数評価回数を減らしながら、MESMOCは高品質なパレート最適解をどの程度回復できるか？
• RQ4 複雑な制約を伴う離散的および連続的設計空間において、MESMOCはどのように性能を発揮するか？
• RQ5 高次元で制約付きの多目的最適化タスクにおいて、MESMOCはより優れた収束性とロバスト性を達成できるか？

主な発見

• 電気推進航空パワーシステム設計において、MESMOCは50%の制約満たし率を達成し、PESMOC（1.5%）、MOEAD（9.5%）、NSGA-II（7.5%）を著しく上回った。
• アナログ回路設計タスクでは、MESMOCは88.81%の変換効率を達成し、PESMOC比で12.61%、NSGA-II比で17.86%の改善を示した。
• MESMOCは、すべてのベースラインと比較してより高いハイパーボリュームを持つパレートフロントを回復し、離散的および連続的設計空間の両方で優れた収束性と多様性を示した。
• 高品質な解に到達するための関数評価回数が少なく、高価なブラックボックス最適化におけるサンプル効率性を確認した。
• MESMOCの出力空間エントロピーアプローチにより、PESMOCのような入力空間手法と比較して、よりタイトな近似と高速な計算が可能になった。
• アナログ回路ドメインでは、MESMOCは負荷の変動にかかわらず、電圧リファレンス目標値を0.52V～0.76V（1/3x比）および0.99V～1.17V（2/3x比）の範囲内で満たす設計を生成した。