[論文レビュー] Provable Benefits of Representation Learning in Linear Bandits.

Jiaqi Yang, Wei Hu+2 more|arXiv (Cornell University)|Oct 13, 2020

Advanced Bandit Algorithms Research被引用数 8

ひとこと要約

この論文は、T 個の並列なバンディットタスク間で共有される低次元（k ≪ d）の表現を活用する、線形バンディットのための新しいアルゴリズムを提案する。この手法により、$ frac{O}(Tackslashsqrt{kN} + ackslashsqrt{dkNT})$ のレグレットが達成される。この方法は、共有構造を活用することで、単純な独立学習（$ frac{O}(Tackslashsqrt{dN})$）よりも著しく優れており、上界と下界が一致することで、対数要因を除いてミニマックス最適性が証明される。

ABSTRACT

We study how representation learning can improve the efficiency of bandit problems. We study the setting where we play $T$ linear bandits with dimension $d$ concurrently, and these $T$ bandit tasks share a common $k (\ll d)$ dimensional linear representation. For the finite-action setting, we present a new algorithm which achieves $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$ regret, where $N$ is the number of rounds we play for each bandit. When $T$ is sufficiently large, our algorithm significantly outperforms the naive algorithm (playing $T$ bandits independently) that achieves $\widetilde{O}(T\sqrt{d N})$ regret. We also provide an $\Omega(T\sqrt{kN} + \sqrt{dkNT})$ regret lower bound, showing that our algorithm is minimax-optimal up to poly-logarithmic factors. Furthermore, we extend our algorithm to the infinite-action setting and obtain a corresponding regret bound which demonstrates the benefit of representation learning in certain regimes. We also present experiments on synthetic and real-world data to illustrate our theoretical findings and demonstrate the effectiveness of our proposed algorithms.

研究の動機と目的

• 複数の並列タスクを伴う線形バンディット問題における、表現学習が標本効率をどのように向上させるかを調査すること。
• T 個の線形バンディットに共通する k 次元の表現を活用するアルゴリズムを設計すること。
• 独立学習と比較して表現学習の利点を示す理論的レグレットバウンドを確立すること。
• 無限行動設定へのフレームワークの拡張を行い、その性能を分析すること。
• 合成データおよび実世界のデータを用いた実験を通じて、理論的知見を検証すること。

提案手法

• T 個の線形バンディットタスクに共通する低次元（k ≪ d）の表現を用いて、有効次元を低減する。
• レグレットの累積最小化を目的として、表現に配慮した探索と推定を実行する文脈バンディットフレームワークを採用する。
• 共有表現に基づく信頼集合の構築を導入し、推定の効率を向上させる。
• 共有表現空間における探索と活用のトレードオフを分析するための新しいレグレット分解技術を用いる。
• 無限行動設定では、カーネル法や関数近似を用いて、表現に基づくアプローチを拡張する。
• 集中不等式と表現学習のバウンドを組み合わせることで、タイトなレグレット保証を導出する理論的分析を行う。

実験結果

リサーチクエスチョン

• RQ1 共有される低次元構造を持つ複数タスクの線形バンディット設定において、表現学習がレグレットを低減できるか？
• RQ2 T 個の線形バンディットが k 次元の表現（k ≪ d）を共有する場合、達成可能な最適なレグレットは何か？
• RQ3 提案手法は、単純な独立学習と比較して、どのようにレグレットスケーリングに優れているか？
• RQ4 提案されたレグレットバウンドは、対数要因を除いてミニマックス最適か？
• RQ5 表現学習の利点は、無限行動線形バンディットに拡張可能か？

主な発見

• 提案手法は、$\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$ のレグレットバウンドを達成する。これは、$k \ll d$ の条件下で、単純な独立学習の $\widetilde{O}(T\sqrt{dN})$ に比べて顕著に優れている。
• 下界として、$\Omega(T\sqrt{kN} + \sqrt{dkNT})$ のレグレットが確立され、アルゴリズムのレグレットが対数要因を除いてミニマックス最適であることが証明された。
• T が大きい場合に特に顕著な改善が得られ、共有表現のおかげで有効次元が $d$ から $k$ に低下する。
• 無限行動設定に対してもアルゴリズムを拡張でき、適切な条件下で表現学習の利点を維持する。
• 合成データおよび実世界のデータを用いた実験により、理論的知見が検証され、提案手法の実用的有効性が示された。
• 結果から、表現学習がマルチタスクバンディット学習におけるより効率的な探索とより速い収束を可能にすることが確認された。