[論文レビュー] Rectified Max-Value Entropy Search for Bayesian Optimization

Quoc Phong Nguyen, Bryan Kian Hsiang Low+1 more|arXiv (Cornell University)|Feb 28, 2022

Metaheuristic Optimization Algorithms Research被引用数 4

ひとこと要約

本稿では、ベイズ最適化のための新しい獲得関数である修正済み最大値エントロピー探索（RMES）を提案する。RMESは、既存の最大値エントロピー探索（MES）における2つの根本的誤解を是正する：観測がノイズなしであると仮定すること、および情報利得の評価が一貫していないこと。ノイズあり観測の条件付き密度を閉形式で導出し、再パラメータ化を用いた確率的勾配上昇法を適用することで、より正確な相互情報量推定を実現し、合成的および実世界の最適化タスクにおいてMESより一貫した性能向上を達成する。

ABSTRACT

Although the existing max-value entropy search (MES) is based on the widely celebrated notion of mutual information, its empirical performance can suffer due to two misconceptions whose implications on the exploration-exploitation trade-off are investigated in this paper. These issues are essential in the development of future acquisition functions and the improvement of the existing ones as they encourage an accurate measure of the mutual information such as the rectified MES (RMES) acquisition function we develop in this work. Unlike the evaluation of MES, we derive a closed-form probability density for the observation conditioned on the max-value and employ stochastic gradient ascent with reparameterization to efficiently optimize RMES. As a result of a more principled acquisition function, RMES shows a consistent improvement over MES in several synthetic function benchmarks and real-world optimization problems.

研究の動機と目的

• 最大値エントロピー探索（MES）の獲得関数における2つの重要な誤解を特定・是正することにより、その情報理論的解釈と実験的性能を損なう要因を解消する。
• グローバル最大値に関する相互情報量を、ノイズあり観測を通じて正確に測定できる、より原理的で洗練された獲得関数、すなわち修正済み最大値エントロピー探索（RMES）を構築すること。
• グローバル最大値を条件としたノイズあり観測の確率密度関数を閉形式で導出し、RMESの獲得関数の効率的最適化を可能とすること。
• RMESが多様な合成的および実世界の最適化問題において、MESに比べて優れた収束性と頑健性を示すことを実証的に示すこと。
• 観測ノイズの役割と情報理論的最適化における一貫した条件付き確率の重要性を明確にすることで、将来の獲得関数設計の基盤を提供すること。

提案手法

• グローバル最大値を条件としたノイズあり観測の条件付き確率密度関数の閉形式表現を導出し、MESにおけるノイズなし観測の仮定を是正する。
• 導出した密度関数を用いて、最大値とノイズあり観測の間の相互情報量のより正確な測定を実行する。
• 再パラメータ化テクニックを用いた確率的勾配上昇法を適用し、閉形式最適化が不可能なRMES獲得関数の効率的最適化を実現する。
• RMES獲得関数をベイズ最適化フレームワークに統合し、グローバル最適化器に関する情報利得を最大化するようにクエリを逐次選択する。
• 目的関数に対してガウス過程の信念を維持し、各クエリ後にノイズあり関数評価で更新する。
• 情報利得推定と獲得関数最適化の両方において、最大値を一貫して条件付けることで理論的根拠を保持する。

実験結果

リサーチクエスチョン

• RQ1 最大値エントロピー探索（MES）の獲得関数における、性能を低下させるとともに相互情報量を誤って表現する2つの根本的誤解とは何か？
• RQ2 MESにおけるノイズなし観測の仮定が、グローバル最大値に関する情報利得推定にどのように影響を与えるか？
• RQ3 ノイズあり観測尤度の修正モデルは、ベイズ最適化における相互情報量推定の正確性を向上させることができるか？
• RQ4 非閉形式の獲得関数（RMES）の実用的導入を可能にする効率的最適化戦略は何か？
• RQ5 RMESの改善された情報理論的基盤は、合成的および実世界の最適化タスクにおいてMESに比べて測定可能な性能向上をもたらすか？

主な発見

• RMESは、Branin-Hoo関数やEggholder関数を含む複数の合成ベンチマークでMESを一貫して上回り、単純な誤差と推論誤差の両方が低くなる。
• 低ノイズ（σₙ = 0.01）のBranin-Hoo関数では、MESは誤ったノイズモデルにより過剰探索を起こすが、RMESは正確な情報利得推定によりより良い活用を維持する。
• 高ノイズ状況（σₙ = 0.3）では、MESは局所最適解に閉じ込められてしまう過剰活用を示すが、RMESは正確な情報利得推定によりこれを回避する。
• 多数の局所最大値を有するEggholder関数では、RMESはMESよりも速やかに低い誤差に収束し、優れた探索・活用のバランスを示す。
• 実世界タスク（pHフィールドセンシングおよびSVMハイパーパramータチューニング）においても、RMESはMESに比べて単純誤差が改善されており、特にSVMチューニングタスクで顕著である。
• RMESの性能は、期待改善（EI）や上部信頼境界（UCB）といった既存手法と同等であり、より原理的で洗練された情報理論的基盤を提供する。