[論文レビュー] Joint Entropy Search for Multi-objective Bayesian Optimization

Ben Tu, Axel Gandy+2 more|arXiv (Cornell University)|Oct 6, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 13

ひとこと要約

本稿では、最適入力と最適出力の両方における情報量の増加を最大化する、多目的ベイズ最適化のための情報理論的で新しい獲得関数である共同エントロピー探索（JES）を提案する。パレート最適解集合の不確実性をモデル化し、解析的に取り扱える近似を用いることで、サンプル効率が向上し、ハイパーボリュームおよび重み付きハイパーボリューム指標を用いた合成的および実世界の問題において優れた性能を示す。

ABSTRACT

Many real-world problems can be phrased as a multi-objective optimization problem, where the goal is to identify the best set of compromises between the competing objectives. Multi-objective Bayesian optimization (BO) is a sample efficient strategy that can be deployed to solve these vector-valued optimization problems where access is limited to a number of noisy objective function evaluations. In this paper, we propose a novel information-theoretic acquisition function for BO called Joint Entropy Search (JES), which considers the joint information gain for the optimal set of inputs and outputs. We present several analytical approximations to the JES acquisition function and also introduce an extension to the batch setting. We showcase the effectiveness of this new approach on a range of synthetic and real-world problems in terms of the hypervolume and its weighted variants.

研究の動機と目的

• 関数評価が高価でノイズの高い状況における、サンプル効率の良い多目的最適化の課題に対処すること。
• 最適入力と最適出力の両方における連合不確実性を捉える獲得関数を開発すること。
• スカラライゼーションに基づくまたは改善に基づく獲得関数が偏りや探索の悪化を引き起こす可能性があるのに対し、原理的かつ情報理論的な代替手法を提供すること。
• 目的関数の再パラメータライゼーションに対して不変であるようにすることにより、スケーリングや変換に対して頑健な手法を実現すること。
• より広範な実用的適用性を実現するため、バッチ処理、制約付き、および分離評価の設定へとフレームワークを拡張すること。

提案手法

• 最適入力と最適出力の結合事後分布のエントロピーの期待的減少を定量化する獲得関数として、共同エントロピー探索（JES）を提案する。
• 条件付きエントロピー推定とボックス分解技術を用いて、JES獲得関数の解析的近似（JES-LB2およびJES-0）を導出する。
• 複数同時評価への情報量の一般化により、JESのバッチ拡張を提示する。
• 不等式制約を累積分布関数（CDF）の実行可能領域に組み込むことで、制約付き最適化へのJESの適応を実現する。
• JES-LB2およびMES-LB2が目的関数間で加法的であることを示し、個々の目的関数の選択的クエリを可能にすることで、分離評価を可能にする。
• JESを多忠実度設定へと拡張するため、コスト重み付き忠実度モデルと条件付きエントロピー分解を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 最適入力と最適出力の両方における不確実性を共同でモデル化する獲得関数は、多目的ベイズ最適化におけるサンプル効率を向上させ得るか？
• RQ2 JESは、スカラライゼーションに基づくおよび改善に基づく獲得関数と比較して、収束速度およびハイパーボリューム性能においてどのように差を示すか？
• RQ3 JESは目的関数の再パラメータライゼーションに対してどの程度不変であるか。また、高次元またはスケールが異なる問題において、その不変性が頑健性にどのように寄与するか？
• RQ4 理論的根拠を損なわず、JESをバッチ処理、制約付き、分離評価の設定に効果的に拡張できるか？
• RQ5 本稿で提案された重み付きハイパーボリューム指標は、標準的なハイパーボリュームと比較して、目的空間の異なる領域における多目的最適化性能の評価をより洗練された形で行えるか？

主な発見

• JESは、合成的および実世界の多目的問題において、最先端のベースラインと比較して優れたハイパーボリューム改善を達成しており、特に初期段階の反復で顕著である。
• JESの解析的近似（JES-LB2およびJES-0）は微分可能かつ計算的に取り扱いやすく、勾配ベースの最適化により効率的な最適化が可能である。
• JESは目的関数の再パラメータライゼーションに対して不変であるため、スケーリングや変換に対して頑健である。これは、多くの改善ベースの指標とは対照的である。
• 付録で提示された重み付きハイパーボリューム戦略により、目的空間の異なる領域における性能評価がより詳細に行えるようになった。
• 制約付き最適化への拡張は効果的であり、実行可能領域をボックスに分解して制約付きCDFと情報量の増加を計算している。
• 分離評価の拡張版であるJESは、理論的に部分的な目的関数のクエリに適合しているが、現在のベンチマークでは全評価と比較して実験的利得は限定的である。