[論文レビュー] Multi-objective Bayesian optimisation with preferences over objectives

Majid Abdolshah, Alistair Shilton+3 more|arXiv (Cornell University)|Feb 12, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 34被引用数 9

ひとこと要約

本稿では、ユーザーが指定した順序付き優先順位制約（特定の目的関数の安定性を優先）を組み込むことで、ハイパーボリュームの獲得関数を勾配に基づく安定性推定値に応じて重み付けする、多目的ベイズ最適化フレームワークを提案する。この手法は、目的関数空間の事前知識が不要でありながら、パラメータの安定性を重視するパラメータ空間におけるパレート最適解を効率的に探索でき、合成問題およびニューラルネットワークのハイパーパramータチューニングを含む実世界問題において、ベースライン手法を上回る性能を発揮する。

ABSTRACT

We present a multi-objective Bayesian optimisation algorithm that allows the user to express preference-order constraints on the objectives of the type "objective A is more important than objective B". These preferences are defined based on the stability of the obtained solutions with respect to preferred objective functions. Rather than attempting to find a representative subset of the complete Pareto front, our algorithm selects those Pareto-optimal points that satisfy these constraints. We formulate a new acquisition function based on expected improvement in dominated hypervolume (EHI) to ensure that the subset of Pareto front satisfying the constraints is thoroughly explored. The hypervolume calculation is weighted by the probability of a point satisfying the constraints from a gradient Gaussian Process model. We demonstrate our algorithm on both synthetic and real-world problems.

研究の動機と目的

• 既存の多目的ベイズ最適化手法が、すべての目的関数を同等に扱うという限界に対処する。特に、ユーザーが明確な優先順位を有する状況においても同様の扱いがなされる点に起因する。
• ユーザー定義の優先順位制約（例：目的関数Aは目的関数Bよりも安定している＝重要度が高い）を組み込むことで、パレートフロントの効率的探索を可能にする。
• 従来の好みベースの手法とは異なり、目的関数空間の事前知識や事前に定義された好ましい領域を必要としない手法を開発する。
• 高価なブラックボックス最適化において、安定性に基づく好み制約を満たすパラメータのパレート最適解に焦点を当てることで、サンプル効率を向上させる。

提案手法

• 本手法は、目的関数の勾配の相対的な大きさを用いて好みの順序制約を定式化する。勾配の絶対値が小さいほど、安定性が高く、優先度も高くなる。
• 勾配ガウス過程モデルから導出される、支配されたハイパーボリュームにおける期待改善（EHI）という新しい獲得関数を導入する。この関数は、候補点が好みの制約を満たす確率に基づいて重み付けされる。
• ハイパーボリューム計算を変更し、制約を満たす確率を組み込むことで、最適化プロセス中に好みの制約を満たす点が優先されるようにする。
• 制約空間の幾何的解釈を用いて、好ましい目的関数がより高い安定性を示すパレートフロントの有効領域を定義する。
• 非錐型の制約（例：s₀ > s₁ かつ s₂ > s₁）を個別に処理し、結果を統合することで、複雑な好み構造に対しても対応可能である。
• 本手法は、合成テスト関数およびニューラルネットワークのハイパーパramータチューニングを含む実世界問題への応用が可能であり、MOBO-RSおよび他のベースライン手法と性能を比較している。

実験結果

リサーチクエスチョン

• RQ1 目的関数空間の事前知識が不要な状況でも、ユーザーが指定した目的関数の安定性に関する順序付き好み制約を組み込むことで、多目的ベイズ最適化を改善できるか？
• RQ2 ハイパーボリューム獲得関数をどのように変更すれば、安定性に基づく好み制約を満たすパラメータのパレート最適解を優先的に探索できるか？
• RQ3 好みが存在する状況において、標準的な多目的最適化と比較して、本手法がどの程度サンプル効率および収束速度を向上させるか？
• RQ4 非錐型または重複する制約が定義される場合でも、本手法のロバストネスはどの程度高いか？
• RQ5 ニューラルネットワークのハイパーパラメータチューニングのような高価なブラックボックス問題において、本手法は安定的で好ましいパレートフロント領域を効果的に特定できるか？

主な発見

• 提案手法は、合成2次元および3次元テストケースにおいて、ユーザーが指定した好み制約（例：好ましい目的関数の安定性が高いか）を満たすパラメータのパレート最適解を効果的に特定した。
• ヴィエンネット関数のテストケースでは、非錐型の制約が存在しても、好ましい目的関数（例：s₁ > s₀ の場合の f₁）の安定性が向上したパラメータのパレートフロントが得られた。
• MNISTデータセットにおけるニューラルネットワークのハイパーパラメータチューニングでは、MOBO-RSが境界ボックスの事前知識を必要としていたのに対し、本手法は0～5の安定したテスト時間範囲内に多数のパラメータを効率的に発見した。
• 好ましい領域の事前知識がなくても、本手法は解の多様性および好ましい目的関数の安定性において、MOBO-RSを上回る性能を発揮した。
• 本手法は、s₀ > s₁ および s₂ > s₁ といった複雑な好み制約を、独立した成分に分解し、結果を統合することで効果的に処理できることが示された。
• 本手法で得られた平均パラメータフロントは、好みに配慮しないベースライン手法と比較して、特に安定性および制約適合性の観点でユーザーの好みにより適合していた。