[論文レビュー] Bandit optimisation of functions in the Matérn kernel RKHS

David M. Janz, David R. Burt+1 more|arXiv (Cornell University)|Jan 28, 2020

Advanced Bandit Algorithms Research参考文献 19被引用数 9

ひとこと要約

本稿では、滑らかさパラメータ ν > 1 および次元 d ≥ 1 のマテRNカーネル RKHS 内の関数を対象とする、π-GP-UCB と呼ばれる新たなバンドイット最適化アルゴリズムを提案する。本手法は、適応的分割を伴うパーティショニングされたガウス過程上位信頼区間を用いることで、すべての ν > 1 および d ≥ 1 に対して、初めて実用的で部分線形のリグレット保証を達成し、従来の Improved GP-UCB よりも計算スケーラビリティと実験的性能が顕著に向上する。

ABSTRACT

We consider the problem of optimising functions in the reproducing kernel Hilbert space (RKHS) of a Matérn kernel with smoothness parameter $ν$ over the domain $[0,1]^d$ under noisy bandit feedback. Our contribution, the $π$-GP-UCB algorithm, is the first practical approach with guaranteed sublinear regret for all $ν>1$ and $d \geq 1$. Empirical validation suggests better performance and drastically improved computational scalablity compared with its predecessor, Improved GP-UCB.

研究の動機と目的

• マテルンカーネル RKHS 関数に対するバンドイット最適化における理論的・実験的ギャップを埋めること、特に ν > 1 および任意の d ≥ 1 の場合に焦点を当てる。
• マテルンカーネルバンドイット問題に対して、証明可能な部分線形リグレットを達成する実用的アルゴリズムを開発すること。現行の手法では、低正則性関数に対して収束を保証できない。
• カーネル化されたバンドイットアルゴリズムの計算スケーラビリティを向上させつつ、強固な理論的保証を維持すること。
• マテルンカーネル RKHS の有効次元に対する境界をタイトにすることにより、既存のアルゴリズムの理論的性能を向上させること。
• 最先端のベースライン（例：Improved GP-UCB）と比較して、優れた性能とランタイム効率を実験的に検証すること。

提案手法

• アルゴリズムは、入力領域を適応的サブリージョンに分割することで不確実性を局所化し、計算効率を向上させるパーティショニングされたガウス過程上位信頼区間（UCB）戦略を用いる。
• 信頼区間は μ_{t-1}(x) + β_t(δ)σ_{t-1}(x) の形をとり、μ と σ はガウス過程の事後平均および標準偏差であり、β_t(δ) は高確率での信頼区間を保証する。
• 情報量の増加見積もりに基づいてリージョンを適応的に分割し、情報量の上界を用いて分割を制御することで、探索と活用のバランスを取る。
• 各ステップで γ^X_t および γ^A_t の正確な値を計算することで、タイトな信頼区間を維持し、理論的保証を確保するとともに実用的導入を可能にする。
• マテルンカーネルの構造を活用して、有効次元に対するタイトな境界を導出し、リグレット解析を精緻化し性能を向上させる。
• 実験的評価では、真の RKHS ノルムが分かっているマテルン ν = 3/2 RKHS 内の合成関数を用い、追加の一様ノイズを加える。両手法に同一の真のノルムを提供することで、公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 マテルンカーネル RKHS において、すべての ν > 1 および d ≥ 1 に対して、実用的バンドイットアルゴリズムが部分線形リグレットを達成できるか？
• RQ2 入力空間をパーティショニングすることで、GP-ベースバンドイット最適化における計算スケーラビリティと実験的性能はどのように向上するか？
• RQ3 マテルンカーネル RKHS の有効次元に対するタイトな境界は、既存および新規アルゴリズムのリグレット保証をどのように改善できるか？
• RQ4 合成関数およびベンチマーク関数において、π-GP-UCB は Improved GP-UCB よりもリグレットとランタイムの両面で優れているか？
• RQ5 情報量に基づく適応的パーティショニングは、均一または固定パーティショニングと比較して、収束性および効率性をどの程度向上させるか？

主な発見

• π-GP-UCB は、すべての ν > 1 および d ≥ 1 に対して高確率でリグレット境界 Õ(T^{(d(2d+3)+2ν)/(d(2d+4)+4ν)}) を達成し、部分線形であるため、グローバル最適解への収束が保証される。
• 実験的に、π-GP-UCB はマテルン ν = 3/2 RKHS 内の 3D 合成関数において、Improved GP-UCB より顕著に優れた性能を示し、実行時間は 29 分（IGP-UCB は 30 時間）である。
• d = 2 の場合、π-GP-UCB はリグレットを 0.71（IGP-UCB）から 0.52（均一サンプリング基準）に低下させ、実行時間も 118 分から 97 秒に短縮した。
• ガウス過程回帰を用いているにもかかわらず、π-GP-UCB は実験的にほぼ線形の実行時間となり、強力な計算スケーラビリティを示した。
• 本分析により、マテルンカーネル RKHS の有効次元に対するタイトな境界が得られ、これは、さまざまな既存のカーネル化バンドイットアルゴリズムのリグレット境界の向上に直接寄与する。
• ノイズ付きの標準的な 2D ベンチマーク関数において、RKHS ノルムが未知で B = 1 に設定された状況でも、π-GP-UCB は IGP-UCB と同等の性能を示し、ハイパーパramータの不確実性に対して頑健であることが示された。