[論文レビュー] Input Warping for Bayesian Optimization of Non-stationary Functions

Jasper Snoek, Kevin Swersky+2 more|arXiv (Cornell University)|Feb 5, 2014

Gaussian Processes and Bayesian Inference参考文献 35被引用数 100

ひとこと要約

本稿では、ベイズ最適化における非定常関数をモデル化するため、ベータ分布の累積分布関数（CDF）を用いた入力ワーピングを提案する。これにより、ガウス過程が入力依存の長さスケールに適応可能となり、入力空間の双方向変換を自動で学習できる。非定常問題（例：ハイパーパramータチューニング）において、収束速度と解の質の両面で、先行研究の最先端手法を上回る性能を発揮する。

ABSTRACT

Bayesian optimization has proven to be a highly effective methodology for the global optimization of unknown, expensive and multimodal functions. The ability to accurately model distributions over functions is critical to the effectiveness of Bayesian optimization. Although Gaussian processes provide a flexible prior over functions which can be queried efficiently, there are various classes of functions that remain difficult to model. One of the most frequently occurring of these is the class of non-stationary functions. The optimization of the hyperparameters of machine learning algorithms is a problem domain in which parameters are often manually transformed a priori, for example by optimizing in "log-space," to mitigate the effects of spatially-varying length scale. We develop a methodology for automatically learning a wide family of bijective transformations or warpings of the input space using the Beta cumulative distribution function. We further extend the warping framework to multi-task Bayesian optimization so that multiple tasks can be warped into a jointly stationary space. On a set of challenging benchmark optimization tasks, we observe that the inclusion of warping greatly improves on the state-of-the-art, producing better results faster and more reliably.

研究の動機と目的

• 実世界のベイズ最適化問題に一般的に見られる非定常関数をモデル化する際、定常ガウス過程の限界を克服すること。
• 非定常性の影響を軽減するための、自動的かつ計算効率の良い入力空間変換の学習手法を開発すること。
• マルチタスクベイズ最適化にワーピングフレームワークを拡張し、タスク間で共通の、 jointly 定常な表現を可能にすること。
• 目的関数の空間的に変化する長さスケールを捉えることで、最適化の信頼性と速度を向上させること。
• 学習された非定常性の後処理的分析を可能にし、パrameter空間の構造に関するインサイトを獲得すること。

提案手法

• 非線形で入力に依存する変換をモデル化するため、各入力次元にベータ分布の累積分布関数（CDF）を用いた双方向ワーピングを適用する。
• ベータ分布の形状母数について周辺化することで、ワーピング関数をベイズ的かつ学習可能にする。
• ガウス過程のカーネル関数にワーピングを統合し、目的関数の柔軟で非定常なモデル化を可能にする。
• すべてのタスクが jointly 定常となる共有のワープド入力空間を学習することで、マルチタスクベイズ最適化へのフレームワークの拡張を実現する。
• マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いて、ワーピング母数およびハイパーパrameterの事後分布を推論する。
• ベータCDFの解釈可能性を活用し、学習された変換の分析を通じて、パrameter感受性に関するインサイトを獲得する。

実験結果

リサーチクエスチョン

• RQ1 入力ワーピングにベータCDFを用いることで、特に長さスケールが入力空間全体で変化するような状況において、非定常関数を効果的にモデル化できるか？
• RQ2 非定常ベンチマーク問題において、標準的な定常ガウス過程モデルと比較して、入力ワーピングが最適化パフォーマンスをどのように向上させるか？
• RQ3 ワーピングフレームワークは、関連するタスク間での転移学習を向上させるために、マルチタスクベイズ最適化に成功裏に拡張可能か？
• RQ4 学習されたワーピング関数は、パrameter感受性やモデル挙動に関するドメイン固有の直感と整合性を示すか？
• RQ5 非定常性をモデル化することで、最適解に到達するための関数評価回数はどの程度削減されるか？

主な発見

• 連続的ハイパーパramータチューニング問題において、Snoekら（2012）の最先端のベイズ最適化手法を著しく上回り、収束が速く、より優れた解に到達する。
• HPOLibベンチマークにおいて、本手法はすべての連続的ハイパーパramータチューニングタスクで優れたパフォーマンスを発揮し、一貫した向上を示した。
• マルチタスクベイズ最適化において、ワープドMTBOは非ワープドMTBOを上回り、特にUSPSで事前学習した後、MNISTタスクに適用した際の収束が速くなった。
• 学習されたワーピング関数はドメインの直感と整合する。例えば、USPSのような小規模データセットでは、L2正則化が強く推奨され、データ効率のトレードオフを反映している。
• 学習されたワーピングの後処理的分析により、ディープラーニングのハイパーパラメータ探索で予想に反するインサイトが得られ、従来の設計ヒューリスティクスに疑問を呈した。
• 本手法は収束速度と信頼性の両方を向上させ、ワープドベイズ最適化は、標準的手法が失敗するような局所最適解からも一貫して脱出できた。