[論文レビュー] A Simple Unified Framework for High Dimensional Bandit Problems

Wenjie Li, Adarsh Barik+1 more|arXiv (Cornell University)|Feb 18, 2021

Advanced Bandit Algorithms Research参考文献 16被引用数 5

ひとこと要約

本稿は、スパarsity、低ランク、グループスパarsityなどの低次元構造を有する高次元確率的バンディット問題に対して、一貫した構造を探索してから決定する（ESTC）アルゴリズムを提案する。構造的仮定を活用してパラメータ推定を導くことで、次元数に対する対数的依存性を達成し、LASSOバンディット、低ランク行列バンディット、グループスパース行列バンディット、および新規のマルチエージェントLASSOバンディット設定において最適なレグレットバウンドを達成する。

ABSTRACT

Stochastic high dimensional bandit problems with low dimensional structures are useful in different applications such as online advertising and drug discovery. In this work, we propose a simple unified algorithm for such problems and present a general analysis framework for the regret upper bound of our algorithm. We show that under some mild unified assumptions, our algorithm can be applied to different high dimensional bandit problems. Our framework utilizes the low dimensional structure to guide the parameter estimation in the problem, therefore our algorithm achieves the comparable regret bounds in the LASSO bandit, as well as novel bounds in the low-rank matrix bandit, the group sparse matrix bandit, and in a new problem: the multi-agent LASSO bandit.

研究の動機と目的

• 多様な低次元構造を有する高次元バンディット問題を統一的に扱うアルゴリズムフレームワークの欠如を解決すること。
• 従来の研究では、LASSOバンディットにおいては対数的バウンドが達成可能であるにもかかわらず、次元数に多項式的依存性を示すという制限を克服すること。
• 弱い仮定のもとで一貫した仮定を満たす一般化されたレグレット解析フレームワークを、複数の高次元バンディット設定に適用可能にする。
• マルチエージェントLASSOバンディットのような新規問題へ、構造的バンディットアルゴリズムの適用範囲を拡張し、理論的保証を伴って行うこと。
• 低ランクおよびグループスパース行列バンディットに対して、新規かつタイトなレグレットバウンドを提供し、次元数に対する対数的依存性を示すこと。

提案手法

• 構造的情報を探索する段階と、推定されたパラメータを活用する段階を分離するESTCアルゴリズムを提案する。
• 探索段階中に発生する2つの重要な高確率事象を定義し、弱い仮定のもとでレグレットが有界であることを保証する。
• 構造的正則化（例：L1ノルム、核ノルム、グループLasso）を用いて、パラメータ推定における低次元構造を活用する。
• 一般化されたレグレット分解技術を適用し、推定誤差をパラメータのずれとノイズ項の組み合わせで上限付ける。
• 集中不等式と構造的仮定（例：スパarsity、低ランク、グループスパarsity）を活用して、次元数に依存しないレグレットバウンドを導出する。
• マルチエージェントLASSOバンディットの新規拡張を導入し、エージェント間の共有パラメータ構造をグループスパarsityでモデル化する。

実験結果

リサーチクエスチョン

• RQ1 多様な低次元構造を有する高次元バンディット問題を統一的に扱う、単一でシンプルなアルゴリズムフレームワークを設計可能か？
• RQ2 このような統一フレームワークは、異なる問題タイプにおいて次元数に対する対数的依存性を持つレグレットバウンドを達成可能か？
• RQ3 マルチエージェントLASSOバンディットのような新規問題へ、強力な理論的保証を維持したまま拡張可能か？
• RQ4 弱い一貫した仮定のもとで導出されたレグレットバウンドは、従来の研究と比較して、特に低ランクおよびグループスパース設定でタイトか？
• RQ5 理論的解析は、複数のバンディット問題タイプにわたる実験を通じて、実証的に検証可能か？

主な発見

• ESTCアルゴリズムは、LASSOバンディットにおいて次元数に対する対数的依存性を持つレグレットバウンドを達成し、最先端の結果と一致する。
• 低ランク行列バンディットでは、$\mathcal{O}(r^{1/3}T^{2/3}\sqrt{\log T}\log((d_1+d_2)T))$ のオーダーのレグレットバウンドを達成し、$d_1 + d_2$ に対して対数的依存性を示す。
• グループスパース行列バンディットでは、レグレットが $\mathcal{O}(d_2^{1/3}s^{1/3}T^{2/3}\sqrt{\log(d_1T)})$ のオーダーに比例し、$d_1$ に対して対数的依存性を示す。
• 本フレームワークは、グループスパース行列バンディットおよびマルチエージェントLASSOバンディットに対して、初めての理論的に最適なレグレットバウンドを提供する。
• 実験により理論的バウンドが検証され、すべての問題タイプにおいて累積レグレットが導出された上界に予測どおりに比例することが示された。
• 著者らは、Hao et al. (2020a) で以前に発表された誤りを是正した。LASSOバンディットのバウンドにおいて欠落していた $\sqrt{\log(dT)}$ 項は、証明の誤りによるものであったことが確認された。