[論文レビュー] Efficient Linear Bandits through Matrix Sketching

Ilja Kuzborskij, Leonardo Cella+1 more|arXiv (Cornell University)|Sep 28, 2018

Advanced Bandit Algorithms Research被引用数 9

ひとこと要約

本稿では、線形文脈的バンディットにおけるOFULおよび線形TSの効率的バージョン、SOFULおよびスケッチド線形トマソンサンプリングを提案する。Frequent Directions行列スケッチングを用いることで、更新時間の計算量をO(d²)からO(md)に削減し、非スケッチドバージョンのレグレット境界の(1+εₘ)^{3/2}倍の要因に保ちながら、その性能を維持する。ここでεₘはスケッチサイズmを超える相関行列のスペクトルテイルを表す。

ABSTRACT

We prove that two popular linear contextual bandit algorithms, OFUL and Thompson Sampling, can be made efficient using Frequent Directions, a deterministic online sketching technique. More precisely, we show that a sketch of size $m$ allows a $\mathcal{O}(md)$ update time for both algorithms, as opposed to $Ω(d^2)$ required by their non-sketched versions in general (where $d$ is the dimension of context vectors). This computational speedup is accompanied by regret bounds of order $(1+\varepsilon_m)^{3/2}d\sqrt{T}$ for OFUL and of order $\big((1+\varepsilon_m)d\big)^{3/2}\sqrt{T}$ for Thompson Sampling, where $\varepsilon_m$ is bounded by the sum of the tail eigenvalues not covered by the sketch. In particular, when the selected contexts span a subspace of dimension at most $m$, our algorithms have a regret bound matching that of their slower, non-sketched counterparts. Experiments on real-world datasets corroborate our theoretical results.

研究の動機と目的

• 相関行列の逆行列計算に起因するO(d²)の計算コストを有するOFULおよび線形トマソンサンプリングの高コストを解消すること。
• 計算コストを著しく削減しながらも、強力なレグレット保証を維持するこれらのアルゴリズムの効率的バージョンの開発。
• Frequent Directionsによる行列スケッチングが、ランクを低下させてもバンディット学習に必要な情報を効果的に保持できることの証明。
• 相関行列のスペクトル減衰をεₘで定量化し、その値に依存する理論的レグレット境界をスケッチドアルゴリズムに対して確立すること。
• 実世界のデータセットを用いた実験的評価を通じて、中程度のスケッチサイズでも性能劣化が最小限に抑えられることの確認。

提案手法

• Frequent Directionsという決定的オンライン行列スケッチ技術を用い、過去のコンテキストベクトルの相関行列の低ランク近似を維持する。
• OFULおよび線形TSにおける全逆相関行列を、スケッチされた行列の逆行列に置き換えることで、O(md)の更新時間に削減する。
• 正則化最小二乗法（RLS）をスケッチに基づく近似と組み合わせ、最適ポリシーのパラメータを効率的に推定する。
• スケッチによる誤差を、尾部固有値の和（εₘ）と関連づけ、レグレットの吹き上がり要因が(1+εₘ)^{3/2}であることを示す。
• 確率1−δ以上で成り立つ高確率レグレット境界を導入し、δ=T⁻¹の場合、期待レグレットに影響を及げる要因は対数的要因に限定されることを示す。
• レグレットを探索と活用の成分に分解し、各成分を集中不等式およびスケッチの固有値的性質を用いて境界付ける。

実験結果

リサーチクエスチョン

• RQ1 行列スケッチ技術を用いることで、OFULおよび線形トマソンサンプリングの計算コストを著しく削減しつつ、レグレット性能を著しく劣化させないか？
• RQ2 相関行列のスペクトル減衰が、スケッチド線形バンディットアルゴリズムのレグレットにどのように影響を与えるか？
• RQ3 サイズmのスケッチが、線形文脈的バンディットにおける最適ポリシー学習に必要な関連部分空間情報をどれほど効果的に捉えられるか？
• RQ4 真のコンテキスト部分空間が低次元である場合、スケッチドバージョンのOFUL（SOFUL）は非スケッチドバージョンに近いレグレット境界を達成できるか？
• RQ5 PCAを用いて特定された最良のm次元部分空間上で実行するオリジナルアルゴリズムと比較して、スケッチドアルゴリズムの性能はどの程度か？

主な発見

• SOFULは、コンテキストベクトルが低次元部分空間に存在する場合、非スケッチドOFULの境界に(1+εₘ)^{3/2}倍の要因で一致するレグレット境界 Õ((1+εₘ)^{3/2}(m + d ln(1+εₘ)))√T を達成する。
• スケッチド線形トマソンサンプリングのバージョンは、SOFULと同様に、εₘに依存するレグレット境界 Õ((1+εₘ)d)^{3/2}√T を達成する。
• 選択されたコンテキストが次元がm以下の部分空間を span する場合、スケッチドアルゴリズムのレグレットは、非スケッチドバージョンと対数的要因を除いて同一である。
• 6つの実世界データセットを用いた実験では、スケッチサイズがコンテキスト次元の60％程度であっても、SOFLおよびスケッチド線形TSがほぼ最適性能を維持していることが示された。
• いくつかのケースでは、SOFLおよびスケッチド線形TSが、PCAで特定された最良のm次元部分空間上で実行する非スケッチドバージョンと同等の性能を示しており、スケッチが関連情報を効果的に捉えていることを示している。
• 特にスペクトルテイルεₘが小さい場合には、スケッチサイズがコンテキスト次元の40％や20％であっても、性能劣化が最小限に抑えられ、本手法のロバスト性が確認された。