[論文レビュー] Joint Entropy Search for Maximally-Informed Bayesian Optimization

Carl Hvarfner, Frank Hutter+1 more|arXiv (Cornell University)|Jun 9, 2022

Advanced Bandit Algorithms Research被引用数 7

ひとこと要約

本稿では、最適な入力と出力の両方の不確実性を統合的にモデル化し、幻想的な最適ペアからのエントロピー低減を活用することで、情報理論的で新しい獲得関数である共同エントロピー探索（JES）を提案する。標準的なガウス過程の手法に依存し、複雑な近似を避けることで、計算コストを最小限に抑えつつ、MES、PES、EIを凌駕する最先端の性能を達成している。

ABSTRACT

Information-theoretic Bayesian optimization techniques have become popular for optimizing expensive-to-evaluate black-box functions due to their non-myopic qualities. Entropy Search and Predictive Entropy Search both consider the entropy over the optimum in the input space, while the recent Max-value Entropy Search considers the entropy over the optimal value in the output space. We propose Joint Entropy Search (JES), a novel information-theoretic acquisition function that considers an entirely new quantity, namely the entropy over the joint optimal probability density over both input and output space. To incorporate this information, we consider the reduction in entropy from conditioning on fantasized optimal input/output pairs. The resulting approach primarily relies on standard GP machinery and removes complex approximations typically associated with information-theoretic methods. With minimal computational overhead, JES shows superior decision-making, and yields state-of-the-art performance for information-theoretic approaches across a wide suite of tasks. As a light-weight approach with superior results, JES provides a new go-to acquisition function for Bayesian optimization.

研究の動機と目的

• 既存の情報理論的ベイズ最適化手法の限界、例えば複雑な近似に依存することや、ノイズや目的関数の構造に関する制限的な仮定に依存することを解消すること。
• 入力空間と出力空間の両方の不確実性を別々に扱うのでなく、統合的に捉えるより包括的な情報理論的獲得関数の開発。
• 最適解の位置とその真の最適値の両方を組み込むことで、意思決定を向上させ、情報量の推定を改善すること。
• エントロピー探索と予測エントロピー探索の非マクロ的で情報理論的な利点を維持しながら、計算効率の良い代替手法を提供すること。
• ノイズが多く、高次元のブラックボックス最適化に適した、強固で軽量かつ高性能な獲得関数の提供。

提案手法

• JESは、最適な入力と最適な出力のペアの結合確率密度のエントロピーに基づく新しい獲得関数を導入する。
• 幻想的な最適入出力ペアに条件づけることで、期待される情報量の増加を計算し、結合エントロピーの低減を測定する。
• エントロピー探索や予測エントロピー探索で一般的に見られる複雑なモンテカルロ近似を避けるために、標準的なガウス過程の推論を活用する。
• 最適観測を入力と出力の結合分布としてモデル化することで、より正確で情報量の多いクエリを可能にする。
• これらの幻想的な最適ペアは事後予測分布からサンプリングされ、獲得関数はその条件付きにおけるエントロピー低減に基づいて導出される。
• 計算効率を高めるために、複雑な前処理を最小限に抑え、標準的なGP演算に依存する設計となっている。

実験結果

リサーチクエスチョン

• RQ1 ベイズ最適化において、入力と出力の不確実性を別々にモデル化するのではなく、統合的にモデル化することで、情報量の推定をより良くできるか？
• RQ2 複雑な近似に依存せずに、完全に非マクロ的な情報理論的獲得関数を計算的に効率的に実装できるか？
• RQ3 最適な入力とノイズのない最適値の両方を組み込むことで、ブラックボックス最適化における意思決定と収束性が向上するか？
• RQ4 提案された共同エントロピーに基づく獲得関数は、MES、PES、EIといった既存の最先端手法と比較して、サンプル効率や性能面で優れているか？
• RQ5 従来の手法が誤った事後分布の仮定により失敗する可能性がある高ノイズ環境でも、本手法は強固で効果的であるか？

主な発見

• JESは、ハイパーパramータチューニングやロボット工学を含む多様なベンチマークタスクにおいて、情報理論的ベイズ最適化手法の中で最先端の性能を達成している。
• MLPハイパーパramータチューニングタスクのHPOBenchスイートにおいて、JESは全6タスクでMESを上回り、EIと同等または上回る性能を示しており、初期段階の意思決定において顕著な優位性を示している。
• ノイズが多い環境でも、JESはPESを著しく上回り、収束速度と最終的な解の品質の両面でEIと同等または上回っている。
• 他の情報理論的アプローチと比較して、JESは計算コストの増加が最小限に抑えられており、主に標準的なGPの仕組みに依存し、複雑な近似を必要としていない。
• 提案されたγエキスプロイト戦略を組み合わせることで、モデルの誤設定に対してもJESは強健性を示しており、誤ったモデル仮定を検出・適応可能にしている。
• ノイズのない環境では、標準的なGPフレームワークで一般的に利用可能な小さなノイズ項を追加することで、JESを安定化でき、広く適用可能になる。