[論文レビュー] Random Hypervolume Scalarizations for Provable Multi-Objective Black Box Optimization

Daniel Golovin, Qiuyi Zhang|arXiv (Cornell University)|Jun 8, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 37被引用数 13

ひとこと要約

この論文は、多目的ブラックボックス最適化における全パレートフロンティアへの証明可能な収束を可能にする、新しいハイパーボリュームスカラライゼーション関数を導入する。適切に選ばれた分布からランダムにスカラライゼーションを抽出することで、UCB やトムソンサンプリングなどの標準的なベイジアン最適化の獲得関数と組み合わせることで、$\widetilde{O}(\sqrt{T})$ のタイトなハイパーボリュームレグレットバウンドを達成する。

ABSTRACT

Single-objective black box optimization (also known as zeroth-order optimization) is the process of minimizing a scalar objective $f(x)$, given evaluations at adaptively chosen inputs $x$. In this paper, we consider multi-objective optimization, where $f(x)$ outputs a vector of possibly competing objectives and the goal is to converge to the Pareto frontier. Quantitatively, we wish to maximize the standard hypervolume indicator metric, which measures the dominated hypervolume of the entire set of chosen inputs. In this paper, we introduce a novel scalarization function, which we term the hypervolume scalarization, and show that drawing random scalarizations from an appropriately chosen distribution can be used to efficiently approximate the hypervolume indicator metric. We utilize this connection to show that Bayesian optimization with our scalarization via common acquisition functions, such as Thompson Sampling or Upper Confidence Bound, provably converges to the whole Pareto frontier by deriving tight hypervolume regret bounds on the order of $\widetilde{O}(\sqrt{T})$. Furthermore, we highlight the general utility of our scalarization framework by showing that any provably convergent single-objective optimization process can be effortlessly converted to a multi-objective optimization process with provable convergence guarantees.

研究の動機と目的

• 特にヒューリスティックなスカラライゼーションに依存するアルゴリズムにおいて、理論的収束保証の欠如に対処すること。
• ハイパーボリューム指標の直接最適化は計算的に非効率的である（#P困難であり、微分可能でない）という問題を克服すること。
• 任意の証明可能に収束する単目的最適化アルゴリズムを、理論的保証を伴って多目的設定に一般化できるスカラライゼーションフレームワークを開発すること。
• 線形やチービシェフスカラライゼーションのようなヒューリスティックなスカラライゼーションの代替として、多様なパレートフロンティア形状にわたる一様な性能保証が欠如している問題を解決すること。
• ランダムサンプリングを介してスカラライゼーション選択とハイパーボリューム指標を結びつけることで、多目的最適化におけるタイトなレグレットバウンドを確立すること。

提案手法

• 点のハイパーボリューム寄与度に基づいて、多目的出力をスカラー値にマップする、ハイパーボリュームスカラライゼーションと呼ばれる新しいスカラライゼーション関数を提案する。
• 全目的空間のカバーを保証するために、正の単体 $\mathcal{S}_+^{k-1}$ 上の分布 $D_\lambda$ からスカラライゼーション重み $\lambda$ をサンプリングする。
• 真のハイパーボリューム指標の代理として、スカラライズド目的関数 $s_\lambda(F(x)) = \text{hypervolume}(F(x); \lambda)$ を単目的最適化に用いる。
• スカラライズド目的関数に、上界信頼区間（UCB）やトムソンサンプリングなどの標準的なベイジアン最適化の獲得関数を適用する。
• 解集合が支配する真のハイパーボリュームへの期待改善と関連付けることで、ハイパーボリュームレグレットバウンドを導出する。
• ハイパーボリュームスカラライゼーションの濃縮性および滑らかさの性質を活用し、$T$ イタレーションにおける累積レグレットをバウンドする。

実験結果

リサーチクエスチョン

• RQ1 正の単体上での分布からのランダムスカラライゼーションは、多目的最適化におけるハイパーボリューム指標の証明可能な近似に利用可能か？
• RQ2 提案されたハイパーボリュームスカラライゼーションを用いた場合、標準的なスカラライゼーションと比較して、ベイジアン最適化における理論的レグレットバウンドはどの程度達成可能か？
• RQ3 既知のレグレットバウンドを持つ任意の単目的最適化アルゴリズムを、このスカラライゼーションフレームワークを介して多目的最適化に拡張可能か？ かつ収束保証が維持されるか？
• RQ4 線形スカラライゼーションおよびチービシェフスカラライゼーションと比較して、支配ハイパーボリュームおよびパレートフロンティアカバレッジの観点から、ハイパーボリュームスカラライゼーションの実験的性能はいかがなものか？
• RQ5 パレートフロンティアの凸性や形状が、ハイパーボリュームスカラライゼーションと線形スカラライゼーションの相対的性能にどの程度影響を与えるか？

主な発見

• 提案されたハイパーボリュームスカラライゼーションは、$\widetilde{O}(\sqrt{T})$ のハイパーボリュームレグレットバウンドを達成し、これはタイトであり、単目的ベイジアン最適化における最良の既知のバウンドと一致する。
• 実験的結果では、UCBにハイパーボリュームスカラライゼーションを適用した場合、ノイズのない設定において線形スカラライゼーションや進化的戦略よりも支配ハイパーボリュームの観点で優れていることが示された。
• ハイパーボリュームスカラライゼーションは、常に線形スカラライゼーションと同等以上に性能を発揮し、特にパレートフロンティアが非凸である場合には顕著に優れている。
• ガウスノイズが存在する状況でも、ハイパーボリュームスカラライゼーションは強固な性能を維持しており、ノイズ評価に対する耐性があることが示された。
• このフレームワークにより、理論的保証を伴って任意の証明可能に収束する単目的最適化アルゴリズムを、スカラライゼーションを介して多目的アルゴリズムに変換可能である。
• パレートフロンティアが非凸である場合、ハイパーボリュームスカラライゼーションと線形スカラライゼーションの性能差が最も顕著に現れ、複雑なトレードオフを捉える際の本手法の優位性が浮き彫りになった。