[論文レビュー] Structured Stochastic Linear Bandits

Nicholas D. Johnson, V. Sivakumar+1 more|arXiv (Cornell University)|Jun 17, 2016

Advanced Bandit Algorithms Research参考文献 17被引用数 6

ひとこと要約

本稿では、未知パラメータ θ* にノルムに基づく構造（例：スパarsity、グループスパarsity、低ランク）が存在する場合に、ノルム正則化回帰を用いてよりタイトな信頼楕円体を構築する、構造的確率的線形バンディットアルゴリズムを提案する。楕円体の半径を構造的集合のガウス幅に関連付けることで、環境次元 p ではなく構造の内因的次元に比例するレグレットバウンドを達成し、従来の非構造的アプローチに比べてより鋭い性能保証を実現する。

ABSTRACT

The stochastic linear bandit problem proceeds in rounds where at each round the algorithm selects a vector from a decision set after which it receives a noisy linear loss parameterized by an unknown vector. The goal in such a problem is to minimize the (pseudo) regret which is the difference between the total expected loss of the algorithm and the total expected loss of the best fixed vector in hindsight. In this paper, we consider settings where the unknown parameter has structure, e.g., sparse, group sparse, low-rank, which can be captured by a norm, e.g., $L_1$, $L_{(1,2)}$, nuclear norm. We focus on constructing confidence ellipsoids which contain the unknown parameter across all rounds with high-probability. We show the radius of such ellipsoids depend on the Gaussian width of sets associated with the norm capturing the structure. Such characterization leads to tighter confidence ellipsoids and, therefore, sharper regret bounds compared to bounds in the existing literature which are based on the ambient dimensionality.

研究の動機と目的

• 環境次元 p に比例する既存の確率的線形バンディットアルゴリズムの限界、特に θ* に内在的な構造がある場合の問題を解決すること。
• L1、グループL1、核ノルムなどの構造的ノルムに適応する、θ* の周囲の高確率的信頼楕円体を構築する一般枠組みを開発すること。
• ガウス幅による幾何的特徴付けを用いて信頼楕円体をタイトにすることで、環境次元に依存しないのではなく、内因的次元に依存するようにして、レグレットを低減すること。
• 初期のランダムな探索と、双線形最適化から得られる楽観的解を中心とするL2球上での一様抽出を組み合わせたサンプリング戦略を設計し、ロバストネスと探索効率を向上させること。

提案手法

• θ* に構造的仮定を組み込むために、リッジ回帰の代わりにノルム正則化回帰（例：lasso）を用いて信頼楕円体を構築する。
• パラメータ空間の複雑さを定義する構造的ノルムによって定義される集合のガウス幅を、信頼楕円体の半径の代理として用いる。
• 二段階のサンプリング戦略を導入する：第一段階では、θ* の一貫性のある推定を得るために意思決定集合上でランダムにサンプリングする。第二段階では、双線形最適化から得られる楽観的解を中心とするL2球上で一様にサンプリングする。
• マルティングルの差分に対する集中不等式を適用し、すべてのラウンドで信頼楕円体がθ* を高確率で含むことを保証する。
• 最近の構造的推定に関する結果を活用し、バンディットフィードバックにおけるアクティブサンプリング設定に、i.i.d. サンプリングの保証を拡張する。
• 楕円体の半径をガウス幅に関連付けることで、θ* が構造的である場合に次元削減を達成する。

実験結果

リサーチクエスチョン

• RQ1 未知パラメータ θ* に構造的仮定がある場合に、その仮定を活用することで、確率的線形バンディットにおける信頼楕円体をタイトにできるか？
• RQ2 ノルムによって誘導される集合のガウス幅は、構造的バンディット設定における高確率的信頼楕円体の半径とどのように関係するか？
• RQ3 統計的一貫性と効率的な探索を両立させつつ、θ* に対して高確率的な信頼性を保つサンプリング戦略は何か？
• RQ4 構造的複雑さ（例：スパarsity、グループスパarsity）に伴うレグレットバウンドは、環境次元に比べてどのようにスケーリングされるか？
• RQ5 構造的バンディット問題において、リッジ回帰に比べてノルム正則化回帰が信頼楕円体の構築を改善できるか？

主な発見

• 信頼楕円体の半径は、構造的集合のガウス幅に比例し、環境次元 p に依存するものよりもタイトな楕円体を実現する。
• s-スパースな θ* に対しては、楕円体の半径が O(√(s log p)) に比例するが、非構造的設定では O(√p) に比例するため、顕著な改善が得られる。
• 提案手法のレグレットバウンドは、構造的集合のガウス幅に比例し、θ* が構造的である場合により鋭いバウンドを達成する。
• s-スパースな θ* に対しては、既存の最先端の結果（例：√(s p T)）と同等のレグレットバウンドを達成するが、グループスパarsity や低ランク行列といったより広いクラスに一般化可能である。
• 初期のランダムな探索と、L2球上の一様抽出を組み合わせた二段階のサンプリング戦略により、統計的一貫性と効果的な探索が保証される。
• マルティングルの集中と、アクティブサンプリングへの構造的推定の結果の拡張を用いて理論的保証を確立し、信頼楕円体が高確率でθ* を含むことを保証する。