[論文レビュー] A Domain-Shrinking based Bayesian Optimization Algorithm with Order-Optimal Regret Performance

Sudeep Salgia, Sattar Vakili+1 more|arXiv (Cornell University)|Oct 27, 2020

Advanced Bandit Algorithms Research参考文献 60被引用数 6

ひとこと要約

本稿では、関数定義域の高パフォーマンス領域を特定するために木構造に基づく pruning と精錬プロセスによる反復的ドメイン収縮を用いるガウス過程ベースのベイズ最適化手法、GP-ThreDS を提案する。この手法は、GP-UCB よりも $O(T^{2d-1})$ の要因で計算複雑性を低減しつつ、対数要因を除いて順序最適なレグレット性能を達成する。これにより、高次元問題において学習効率と計算スケーラビリティの両立が可能となる。

ABSTRACT

We consider sequential optimization of an unknown function in a reproducing kernel Hilbert space. We propose a Gaussian process-based algorithm and establish its order-optimal regret performance (up to a poly-logarithmic factor). This is the first GP-based algorithm with an order-optimal regret guarantee. The proposed algorithm is rooted in the methodology of domain shrinking realized through a sequence of tree-based region pruning and refining to concentrate queries in increasingly smaller high-performing regions of the function domain. The search for high-performing regions is localized and guided by an iterative estimation of the optimal function value to ensure both learning efficiency and computational efficiency. Compared with the prevailing GP-UCB family of algorithms, the proposed algorithm reduces computational complexity by a factor of $O(T^{2d-1})$ (where $T$ is the time horizon and $d$ the dimension of the function domain).

研究の動機と目的

• 既存の GP ベースのベイズ最適化手法と、レグレットの理論的下界との間のギャップを埋めること。
• 特にグローバル UCB 最大化に起因する $O(T^{2d+3})$ の計算複雑性を解消すること。
• 適応的ドメイン収縮によるクエリの集中を用いて、学習効率を向上させること。
• グローバルな UCB 代理関数の最適化を避けることで、計算効率を確保すること。代わりに局所的な木構造ベースの探索を用いる。
• GP ベース手法において、多項式対数因子を除いて順序最適（order-optimal）な理論的レグレット保証を確立すること。

提案手法

• アルゴリズムは二分木を用いて定義域 $\mathcal{X}$ を再帰的に分割し、高パフォーマンス領域の局所的かつ適応的精錬を可能にする。
• 各時刻において、最適関数値の推定値を得るとともに、閾値に基づくプルーニング基準を用いて、最大化者を含む可能性が低いノードを除外する。
• 関数値が動的に更新される閾値を超えるサブツリーに注目することで、木の下方向に探索を進める。これにより、高パフォーマンス領域への集中が保証される。
• UCB 代理関数のグローバル最適化を避けることで、小規模で精錬された部分領域に制限して最適化を行う。これにより計算コストが低減される。
• 真の最大化者を除外する確率を制御するための信頼パラメータ $\delta_0$ が導入され、理論的レグレット保証が保証される。
• アルゴリズムは GP 後立分布の平均と標準偏差を用いて上側信頼区間を計算するが、その計算はアクティブで収縮する部分領域内に限定される。

実験結果

リサーチクエスチョン

• RQ1 GP ベースのベイズ最適化手法は、対数要因を除いて理論的下界と一致する順序最適なレグレット性能を達成できるか？
• RQ2 木構造に基づくプルーニングによるドメイン収縮は、レグレット性能を損なわせることなく、GP ベース最適化の計算複雑性を低減できるか？
• RQ3 収縮する部分領域における局所的探索戦略は、グローバル UCB 最大化と比較して、レグレット性能と効率性において優れているか？
• RQ4 適応的閾値設定と反復的精錬の影響は、収束速度と計算コストにどのような影響を及ぼすか？
• RQ5 提案手法は、高次元設定において時間複雑性を顕著に低減しつつも、強力なレグレット保証を維持できるか？

主な発見

• GP-ThreDS は、多項式対数因子を除いて理論的下界と一致する順序最適なレグレット性能を達成し、このような保証を持つ最初の GP ベースのアルゴリズムである。
• アルゴリズムは、GP-UCB よりも $O(T^{2d-1})$ の要因で計算複雑性を低減しており、主にグローバル UCB 最大化の回避に起因する。
• MNIST における CNN のハイパーパramータチューニングにおいて、GP-ThreDS は GP-UCB や IGP-UCB、EI や PI よりも低い平均レグレットを達成した。特に制限時間内での性能が顕著に優れていた。
• GP-ThreDS の最適化時間は AD と同等であり、IGP-UCB や EI よりも顕著に短く、計算効率の向上が示された。
• 最適化時間は類似していたが、CNN 学習を含む総合時間において、GP-ThreDS は他のアルゴリズムよりも顕著に短く、収束速度の速さとより優れたハイパーパramータ選択に起因する。
• 10 回のモンテカルロランにおいて、レグレット低減と時間効率の両面で一貫した優位性を示し、アルゴリズムの頑健性が確認された。