[論文レビュー] Multi-objective Bayesian Optimization using Pareto-frontier Entropy

Shinya Suzuki, Shion Takeno+3 more|arXiv (Cornell University)|Jun 1, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 30被引用数 13

ひとこと要約

本稿では、パレート前沿のエントロピーを用いて獲得関数を誘導する、Pareto-frontier entropy search (PFES) と呼ばれる新しい多目的ベイズ最適化手法を提案する。この手法は、近似を用いず、信頼性の高い解析的エントロピー計算を可能にする。PFESは、トレードオフを効果的に捉え、観測が分離された設定にも適応できることから、ベンチマークおよび実世界の材料科学データセットにおいて、従来手法を上回る収束速度を示す。

ABSTRACT

This paper studies an entropy-based multi-objective Bayesian optimization (MBO). The entropy search is successful approach to Bayesian optimization. However, for MBO, existing entropy-based methods ignore trade-off among objectives or introduce unreliable approximations. We propose a novel entropy-based MBO called Pareto-frontier entropy search (PFES) by considering the entropy of Pareto-frontier, which is an essential notion of the optimality of the multi-objective problem. Our entropy can incorporate the trade-off relation of the optimal values, and further, we derive an analytical formula without introducing additional approximations or simplifications to the standard entropy search setting. We also show that our entropy computation is practically feasible by using a recursive decomposition technique which has been known in studies of the Pareto hyper-volume computation. Besides the usual MBO setting, in which all the objectives are simultaneously observed, we also consider the "decoupled" setting, in which the objective functions can be observed separately. PFES can easily adapt to the decoupled setting by considering the entropy of the marginal density for each output dimension. This approach incorporates dependency among objectives conditioned on Pareto-frontier, which is ignored by the existing method. Our numerical experiments show effectiveness of PFES through several benchmark datasets.

研究の動機と目的

• 既存のエントロピーに基づく多目的ベイズ最適化手法が、信頼性の低い近似に依存するか、トレードオフ関係を無視するという限界を解消すること。
• パレート前沿の不確実性を直接モデル化し、目的間の内在的トレードオフを捉えること。
• 再帰的セル分割技術を用いて、パレート前沿のエントロピーを効率的かつ解析的に計算可能にする。
• 目的が別々に評価可能な分離観測設定へとフレームワークを拡張し、周辺密度エントロピーを活用すること。
• ベンチマーク関数および実世界の材料データセット上でPFESを実証的に検証し、優れた収束性とコスト効率を示すこと。

提案手法

• PFESは、パレート最適な入力のエントロピーではなく、目的空間におけるパレート前沿のエントロピーに基づいた獲得関数を定義する。
• 支配領域をハイパーレクタングルに分割するセルベースの分割法を用い、近似を回避してパレート前沿エントロピーの解析的計算を可能にする。
• 特に L ≥ 3 目的の場合の計算複雑性を効率的に管理するため、パレートハイパーボリューム計算からの再帰的分解技術を採用する。
• 分離観測設定では、各目的次元の周辺密度エントロピーを計算し、パレート前沿に条件付けられた依存関係を捉える。
• 標準のエントロピーに基づく仮定の下で獲得関数を導出することで、理論的整合性を確保し、トレードオフパラメータを必要としないグローバルな効用測定が可能になる。
• PFESはガウス過程回帰と統合され、実際のエントロピー計算にはパレート前沿のサンプリングベース推定を用いる。

実験結果

リサーチクエスチョン

• RQ1 多目的ベイズ最適化において、近似を導入せずにパレート前沿のエントロピーを解析的に計算できるか？
• RQ2 情報理論的獲得関数において、目的間のトレードオフ構造を効果的に捉えるにはどうすればよいか？
• RQ3 提案手法を、目的が別々に観測可能な分離観測設定へと拡張できるか？
• RQ4 ベンチマーク問題および実世界の問題において、既存のエントロピーに基づく手法およびスカラライズドMBO手法と比較して、PFESの性能と計算効率はどの程度か？
• RQ5 特に高価で時間がかかる実世界の材料設計シナリオにおいて、観測コストあたりのハイパーボリューム改善の観点から、PFESはより速い収束を達成できるか？

主な発見

• PFESはセル分割を用いて、PESMOのような既存手法が用いる信頼性の低い近似を避ける解析的パレート前沿エントロピー計算を可能にする。
• MESMOとは異なり、PFESは目的間のトレードオフ関係を効果的に捉えることができる。MESMOは個々の目的の最大値にのみ注目し、パレート前沿構造を無視する。
• L=4 目的のベンチマーク DTLZ4 において、PFESは MESMO と同等の計算時間（62.36 秒）を維持しながら、解析的信頼性とより優れたトレードオフ認識を兼ね備えた。
• 実材料データセット（Bi2O3 および LLTO）において、PFES（分離型）は初期段階でやや高い改善を示したが、安価な観測を収集した後、コスト全体に対するハイパーボリューム増加が著しく向上し、結合型PFESを上回った。
• Bi2O3 において (λ₁,λ₂)=(5,1) の設定では、PFES（分離型）は初期～中盤の反復において、SMSego や EHI、結合型PFES よりも速い収束を達成し、コストに配慮した探索が可能であった。
• 分離型PFESは、低コスト関数評価を最初に活用し、その後高価な評価に移行することで、観測予算のより効率的な使用が可能になり、時間経過とともにハイパーボリューム改善が向上した。