[論文レビュー] High-Dimensional Experimental Design and Kernel Bandits

Romain Camilleri, Julian Katz-Samuels+1 more|arXiv (Cornell University)|May 12, 2021

Advanced Bandit Algorithms Research参考文献 27被引用数 6

ひとこと要約

本稿は、測定回数 $N$ を環境次元 $d$ に依存させない高次元実験計画における新しい丸め手順を提案する。これにより、$N \ll d$ であっても、効率的なカーネルバンディットアルゴリズムの実行が可能になる。この手法は、$N$ が $d$ に比例して増大する必要がなく、近似的に最適な性能保証を達成し、モデルの不適合に対しても耐性を持つカーネルバンディットアルゴリズムの開発に活用されている。

ABSTRACT

In recent years methods from optimal linear experimental design have been leveraged to obtain state of the art results for linear bandits. A design returned from an objective such as $G$-optimal design is actually a probability distribution over a pool of potential measurement vectors. Consequently, one nuisance of the approach is the task of converting this continuous probability distribution into a discrete assignment of $N$ measurements. While sophisticated rounding techniques have been proposed, in $d$ dimensions they require $N$ to be at least $d$, $d \log(\log(d))$, or $d^2$ based on the sub-optimality of the solution. In this paper we are interested in settings where $N$ may be much less than $d$, such as in experimental design in an RKHS where $d$ may be effectively infinite. In this work, we propose a rounding procedure that frees $N$ of any dependence on the dimension $d$, while achieving nearly the same performance guarantees of existing rounding procedures. We evaluate the procedure against a baseline that projects the problem to a lower dimensional space and performs rounding which requires $N$ to just be at least a notion of the effective dimension. We also leverage our new approach in a new algorithm for kernelized bandits to obtain state of the art results for regret minimization and pure exploration. An advantage of our approach over existing UCB-like approaches is that our kernel bandit algorithms are also robust to model misspecification.

研究の動機と目的

• 測定回数 $N$ が次元 $d$ よりも著しく小さい場合、特に無限次元の再生核ヒルベルト空間（RKHS）において、連続的な最適実験計画を離散的測定割り当てに変換する課題に対処すること。
• 既存の丸め技法が、部分最適性の境界を達成するために $d$、$d\log\log d$、または $d^2$ のように $d$ に比例する $N$ を必要とすることを克服すること。
• モデルの不適合下でも、レグレット最小化と純粋探索の両設定において強固な性能保証を維持する新しいカーネルバンディットアルゴリズムを開発すること。
• UCBスタイルの信頼区間に依存しない、新しい設計に基づくアプローチを活用して、カーネルバンディットアルゴリズムのモデル不適合に対する耐性を高めること。

提案手法

• 測定ベクトル上の連続的 $G$-最適設計分布を、次元 $d$ に依存しない方法で離散的 $N$ 測定に変換する新しい丸め手順を提案。これにより、高次元または無限次元の設定でも利用可能になる。
• 鏡面降下法を用いてRKHS設定における $G$-最適設計を計算し、最適なアームの推定における分散を最小化すること。
• 提案された丸め手法を、実験計画に基づく信頼区間から得られる戦略に基づいて逐次的に非最適アームを除外するカーネルバンディットアルゴリズムに統合すること。
• $ heta$-ノルムおよび測定ベクトルとの内積に関する制約を含む凸計画問題として設計最適化を定式化し、ラグランジュ緩和と双対最適化により解くこと。
• 双対形式を導入し、双対変数 $\gamma$ と $\nu$ に対する最大化により最適設計の効率的計算を可能とし、サンプル必要量の下界を閉形式で得ること。
• 得られた設計を基に、モデルが不適合である場合（$h > 0$）でも理論的保証が得られるカーネルバンディットアルゴリズムを構築し、最先端のレグレットおよび純粋探索性能を達成すること。

実験結果

リサーチクエスチョン

• RQ1 高次元実験計画において、$N$ が $d$ に依存しない丸め手順を設計できるか。また、その際、既存手法が要求する $N \geq d$ の条件を満たさなくても、ほぼ最適な性能保証を維持できるか。
• RQ2 $d$ が実質的に無限大または $N \ll d$ であるような状況において、カーネル化されたバンディットに最適実験計画の原則をどのように拡張できるか。
• RQ3 実験計画に基づくカーネルバンディットアルゴリズムは、標準的なUCBベースの手法と比較して、モデル不適合（$h > 0$）に対してどの程度頑健であるか。
• RQ4 不適合カーネルバンディット設定における純粋探索の理論的サンプル必要量の下界は何か。また、実用的なアルゴリズムがその下界に近づけるか。

主な発見

• 提案された丸め手順により、$N$ が $d$ に依存しない離散的測定選択が可能となり、$N \geq d$ を必要とする従来の丸め手法と同等の性能保証を達成している。
• 新規カーネルバンディットアルゴリズムは、適切に指定された状況と不適合状況の両方で、最先端のレグレットおよび純粋探索性能を達成している。
• 標準的なUCBベースの手法とは異なり、モデル不適合（$h > 0$）に対しても頑健である。
• 理論的分析により、純粋探索のサンプル必要量の下界が $T^*(\theta_*) = \inf_{\lambda \in \Delta_{\mathcal{X}}} \sup_{x' \neq x_*} \inf_{\gamma \geq 0} \frac{1}{F(\lambda, x', \gamma, \theta_*)}$ であることが示され、提案手法はこの下界にほぼ達している。
• 実験的評価により、低次元空間への射影を行うベースライン手法と比較して、特に $N \ll d$ の場合に本手法の優位性が確認された。
• 標本のノイズが重い尾を示す場合でも、本アルゴリズムは強い性能を維持しており、有限の分散を超えて有界またはサブガウスノイズを仮定していない。