[論文レビュー] Predictive Entropy Search for Multi-objective Bayesian Optimization

Daniel Hernández-Lobato, José Miguel Hernández-Lobato+2 more|arXiv (Cornell University)|Nov 17, 2015

Advanced Multi-Objective Optimization Algorithms被引用数 49

ひとこと要約

PESMO は、パレート集合の事後分布のエントロピーを最小化するように評価点を選択する、多目的最適化のためのベイズ最適化手法である。この手法は獲得関数を目的関数固有の成分に分解することで、評価の分離を可能にし、目的数に比例する線形な計算スケーリングを実現し、関数評価回数を減らしても優れた性能を発揮する。特に高次元の目的空間において顕著である。

ABSTRACT

We present PESMO, a Bayesian method for identifying the Pareto set of multi-objective optimization problems, when the functions are expensive to evaluate. The central idea of PESMO is to choose evaluation points so as to maximally reduce the entropy of the posterior distribution over the Pareto set. Critically, the PESMO multi-objective acquisition function can be decomposed as a sum of objective-specific acquisition functions, which enables the algorithm to be used in \emph{decoupled} scenarios in which the objectives can be evaluated separately and perhaps with different costs. This decoupling capability also makes it possible to identify difficult objectives that require more evaluations. PESMO also offers gains in efficiency, as its cost scales linearly with the number of objectives, in comparison to the exponential cost of other methods. We compare PESMO with other related methods for multi-objective Bayesian optimization on synthetic and real-world problems. The results show that PESMO produces better recommendations with a smaller number of evaluations of the objectives, and that a decoupled evaluation can lead to improvements in performance, particularly when the number of objectives is large.

研究の動機と目的

• 関数評価が高価でノイズが多い状況において、複数の対立する目的を最適化する課題に対処すること。
• スカラライゼーションに依存する既存手法の限界を克服し、すべての目的を同時に評価する必要がある、または目的数の増加に伴い指数関数的に計算コストが増加する手法の問題を解決すること。
• パレート集合に関する情報量の増加を最大化するために、事後エントロピーを最小化する手法を開発し、少ない評価回数で効率的な探索を可能にすること。
• 目的が評価コストや複雑さにおいて異なる場合に特に有益な、目的を独立して評価できる分離評価のシナリオを可能にすること。
• 目的数に比例する線形の計算コストスケーリングを実現し、3つを超える目的を持つ問題に対しても実用的である手法を構築すること。

提案手法

• パレート集合の事後分布のエントロピーの期待的減少を獲得関数として定式化する。
• 各目的関数をガウス過程でモデル化し、不確実性を捉え、確率的推論を可能にする。
• グローバルな獲得関数を、目的ごとの個別の獲得関数の和に分解することで、独立した評価を可能にする。
• 予測エントロピー最小化を用いて、パレート集合に関する期待的な情報量の増加を最大化するように評価点を選択する。
• 各イテレーションで個々の獲得値に基づき、最も情報量の多い目的のみを選択することで、分離評価をサポートする。
• 獲得関数の加法的構造を活用することで、目的数に比例する線形スケーリングを実現し、指数的複雑性を回避する。

実験結果

リサーチクエスチョン

• RQ1 パレート集合におけるエントロピー最小化は、従来の情報理論的または期待改善に基づく手法よりも、より効率的なベイズ最適化を実現できるか？
• RQ2 獲得関数を目的固有の成分に分解することで、多目的最適化における有効な分離評価が可能になるか？
• RQ3 ハイパーボリュームと収束速度の観点から、PESMO は ParEGO や SMS-EGO や期待ハイパーボリューム改善といった最先端手法と比較してどのように性能を発揮するか？
• RQ4 評価コストが異なる状況において、PESMO は困難な目的を効果的に特定・優先できるか？
• RQ5 目的数に比例する計算コストスケーリングにより、PESMO は 3 つを超える目的を持つ問題に対しても実用的であるとされるのか？

主な発見

• ニューラルネットワークアーキテクチャ探索タスクにおいて、PESMO は 100 回の評価後、ハイパーボリューム 67.6 ± 0.1 を達成し、SUR の分離版や結合版 PESMO を含むすべての手法を上回った。
• 200 回の評価後、PESMO（結合版および分離版の両方）はハイパーボリューム 67.8 ± 0.1 を達成し、分離版が初期収束段階でわずかに優れた性能を示した。
• PESMO の分離版は、予測時間の目的関数を数回しか評価せず、それが単純で情報量が少ないことを正しく特定し、コストの高い予測誤差の目的に重点を置いた。
• PESMO はバリデーションセットでほぼ 1.5% の予測誤差を示すニューラルネットワークを発見し、高い精度を維持しながら高速な推論時間を実現した。
• 目的数が多い場合に特に顕著に、分離評価設定が結合評価よりも顕著な性能向上をもたらした。
• PESMO の計算コストは目的数に比例して線形にスケーリングされるのに対し、ParEGO や SMS-EGO のような手法は指数関数的に増加するため、多くの目的を持つ問題に対しても実用的である。