[論文レビュー] The reparameterization trick for acquisition functions

James T. Wilson, Riccardo Moriconi+2 more|arXiv (Cornell University)|Dec 1, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 1被引用数 39

ひとこと要約

本稿では、並列クエリ選択において特に有用な、勾配に基づく最適化が可能な非可解な獲得関数を実現するための再パrameterizationトリックを導入する。獲得関数を微分可能なガウス積分として再定式化することで、効率的なモンテカルロ推定と確率的勾配降下法による最適化が可能となり、非勾配法に比べて著しく性能が向上する。

ABSTRACT

Bayesian optimization is a sample-efficient approach to solving global optimization problems. Along with a surrogate model, this approach relies on theoretically motivated value heuristics (acquisition functions) to guide the search process. Maximizing acquisition functions yields the best performance; unfortunately, this ideal is difficult to achieve since optimizing acquisition functions per se is frequently non-trivial. This statement is especially true in the parallel setting, where acquisition functions are routinely non-convex, high-dimensional, and intractable. Here, we demonstrate how many popular acquisition functions can be formulated as Gaussian integrals amenable to the reparameterization trick and, ensuingly, gradient-based optimization. Further, we use this reparameterized representation to derive an efficient Monte Carlo estimator for the upper confidence bound acquisition function in the context of parallel selection.

研究の動機と目的

• 非可解な獲得関数の最適化という課題に取り組み、とくに高次元的かつ非凸的であるため最適化が困難な並列設定において解決を図ること。
• 代表的な獲得関数が、再パラメータライゼーショントリックを適用可能な微分可能なガウス積分として再表現可能であることを示すこと。
• モンテカルロ推定を用いて、獲得関数の効率的かつ勾配に基づく最適化を可能とし、サンプル効率と収束性を向上させること。
• 再パラメータライゼーショントリックを用いた獲得関数の微分を統一的フレームワークとして提供し、導出と実装を簡素化すること。

提案手法

• 関数出力上のガウス積分として獲得関数を再定式化し、再パラメータライゼーショントリックの適用を可能にする。
• 確率的変数 y = μ + Lz に対して、z ~ N(0, I) であることを踏まえ、確定的写像 ρ: z → y を用いて再パラメータライズし、分布パラメータへの依存関係を明確にする。
• 再パラメータライゼーショントリックを適用し、獲得関数をパラメータの微分可能な関数として表現することで、バックプロパゲーションによる勾配計算を可能にする。
• 再パラメータライズド形式を用いて、上位信頼区間（UCB）獲得関数のモンテカルロ推定器を導出し、確率的勾配最適化を可能にする。
• 微分不能な要素（例：ヘビサイドのステップ関数やmax演算子）を滑らかな近似（例：ソフトマックス関数や部分勾配）に置き換えることで、勾配の流れを確保する。
• 確率的勾配降下法（SGD）にAdam最適化法を用い、決定的最適化にはL-BFGS-Bを用い、局所最小値を避けるために複数回のランダムリスタートを実施する。

実験結果

リサーチクエスチョン

• RQ1 非可解な獲得関数の微分可能性を確保するため、再パラメータライゼーショントリックを適用可能か？
• RQ2 再パラメータライズド獲得関数の勾配に基づく最適化は、非勾配法に比べて性能と収束性において優れているか？
• RQ3 再パラメータライゼーショントリックは、q-UCBのような複雑な獲得関数の導出と実装を簡素化できるか？
• RQ4 非滑らかな要素（例：ソフトマックス関数）の滑らかな近似が、非滑らかな成分を含む獲得関数の最適化に与える影響は？
• RQ5 q-UCB用の再パラメータライズドモンテカルロ推定器は、改善されたサンプル効率を実現する、真に並列なベイズ最適化を可能にするか？

主な発見

• 再パラメータライズド獲得関数の勾配に基づく最適化は、ランダムサーチやDividing Rectanglesといった非勾配法に比べ、16のタスクにおける平均性能で優れている。
• Adamを用いた確率的勾配降下法（SGD）と決定的L-BFGS-Bの性能は同等であり、最適化戦略に対して頑健であることが示された。
• q-UCB用の再パラメータライズドモンテカルロ推定器により、初めて真正の並列化が可能なUCBの定式化が実現され、高次元的かつ並列なベイズ最適化において有効であることが示された。
• ヘビサイドのステップ関数のような微分不能な要素に対して、滑らかな近似（例：τ = 0.01のソフトマックス関数）を用いることで、情報量豊富な勾配が得られ、最適化誤差が低減された。
• 再パラメータライゼーショントリックにより、q-UCBのような複雑な獲得関数の導出が簡素化され、勾配計算が明確かつ体系的に行えるようになった。
• 同等の実行時間内では、勾配に基づく最適化器が非勾配ベースラインに比べて、特に高次元設定（8Dタスク）において優れた平均性能を達成した。