[論文レビュー] Knowing The What But Not The Where in Bayesian Optimization

Loc Nguyen, Michael A. Osborne|arXiv (Cornell University)|May 7, 2019

Advanced Bandit Algorithms Research参考文献 45被引用数 11

ひとこと要約

本稿では、最適出力値 $f^*$ を活用することで、ハイパラメータチューニングにおける収束を加速する、新しいベイズ最適化フレームワークを提案する。$f^*$ の制約を満たすようにガウス過程サーヴェイタの変換を施し、二つの新しい獲得関数（信頼区間最小化と期待リグレット最小化）を導入することで、合成関数および実世界のベンチマーク（深層強化学習やXGBoostチューニングを含む）において、標準的なBO手法よりも高速な収束を達成した。

ABSTRACT

Bayesian optimization has demonstrated impressive success in finding the optimum input x* and output f* = f(x*) = max f(x) of a black-box function f. In some applications, however, the optimum output f* is known in advance and the goal is to find the corresponding optimum input x*. In this paper, we consider a new setting in BO in which the knowledge of the optimum output f* is available. Our goal is to exploit the knowledge about f* to search for the input x* efficiently. To achieve this goal, we first transform the Gaussian process surrogate using the information about the optimum output. Then, we propose two acquisition functions, called confidence bound minimization and expected regret minimization. We show that our approaches work intuitively and give quantitatively better performance against standard BO methods. We demonstrate real applications in tuning a deep reinforcement learning algorithm on the CartPole problem and XGBoost on Skin Segmentation dataset in which the optimum values are publicly available.

研究の動機と目的

• 最適入力 $\mathbf{x}^*$ が未知であるが最適出力 $f^*$ が既知である状況におけるベイズ最適化のギャップを埋めること。
• 真の目的関数に整合性を持つように、$f(\mathbf{x}) \leq f^*$ の制約を強制するサーヴェイタモデルの開発。
• $f^*$ を能動的に活用して探索の負荷を軽減し、収束を加速する獲得関数の設計。
• 公開済みの $f^*$ が存在するベンチマーク関数および実世界の応用において、手法の検証。

提案手法

• 既知の $f^*$ を条件としてガウス過程サーヴェイタを変換し、事後平均および分散が上界 $f^*$ を満たすように保証する。
• 信頼区間最小化獲得関数を導入し、$f^*$ 近傍の不確実性が低い領域を標的とする。
• 期待リグレット最小化（ERM）獲得関数を提案し、$f^*$ に対する期待リグレットを明示的に最小化する。
• 変換されたGPを用いて獲得関数値を計算し、$f^*$ を踏まえた情報に基づいたクエリ選択を可能にする。
• 合成関数および最適出力が既知の実世界のハイパラメータチューニングタスクに本手法を適用する。
• 収束速度とリグレットを指標として、標準的なBOベースライン（期待改善（EI）など）と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 既知の最適出力 $f^*$ を効果的に活用することで、最適入力 $\mathbf{x}^*$ の特定におけるベイズ最適化の効率が向上するか？
• RQ2 GPサーヴェイタに $f^*$ を組み込むことで、モデルの精度と最適化収束にどのような影響を与えるか？
• RQ3 信頼区間最小化や期待リグレット最小化といった $f^*$ を考慮した獲得関数は、標準的な獲得関数を上回る性能を示すか？
• RQ4 $f^*$ の誤指定が、提案手法の性能に与える影響は何か？
• RQ5 最適報酬や正答率が事前に分かっている実世界のハイパラメータチューニングにおいて、本手法はどのようにスケーリングするか？

主な発見

• 提案された期待リグレット最小化（ERM）獲得関数は、ベンチマーク関数および実世界の応用において、標準的な期待改善を含むすべてのベースラインを上回った。
• 公開済みの $f^*=200$ を有するCartPole DRLタスクでは、ERMは20イテレーション目で最適性能に到達し、ベースラインよりも顕著に高速だった。
• XGBoost Skin Segmentationタスクでは、標準的なBO手法よりも少ない評価回数で、既知の最適値に収束した。
• $f^*$ の誤指定—特に低めに指定すること—は、過剰に指定するよりも性能を著しく劣化させ、部分最適領域への過早収束を引き起こす。
• 変換されたGPサーヴェイタは、$f^*$ の制約を効果的に強制し、モデルの忠実性を向上させ、収束を加速した。
• 強化学習や分類正答率チューニングなど、事前に $f^*$ が分かっている実世界の設定において、本手法は頑健性と実用的価値を示した。