[論文レビュー] Impact of Representation Learning in Linear Bandits

Jiaqi Yang, Wei Hu+2 more|arXiv (Cornell University)|Oct 13, 2020

Advanced Bandit Algorithms Research参考文献 48被引用数 4

ひとこと要約

この論文は、複数のタスクに共通する低次元表現を活用することで、レグレット性能を向上させる新しいアルゴリズムを提案する。$T$ 個のタスクに共通する $k \ll d$ 次元の特徴抽出器を活用することで、$\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$ のレグレットを達成し、$T$ が大きい場合には独立学習（$\widetilde{O}(T\sqrt{dN})$）を著しく上回る。最小最大下界が対数要因を除いて最適性を確認している。

ABSTRACT

We study how representation learning can improve the efficiency of bandit problems. We study the setting where we play $T$ linear bandits with dimension $d$ concurrently, and these $T$ bandit tasks share a common $k (\ll d)$ dimensional linear representation. For the finite-action setting, we present a new algorithm which achieves $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$ regret, where $N$ is the number of rounds we play for each bandit. When $T$ is sufficiently large, our algorithm significantly outperforms the naive algorithm (playing $T$ bandits independently) that achieves $\widetilde{O}(T\sqrt{d N})$ regret. We also provide an $Ω(T\sqrt{kN} + \sqrt{dkNT})$ regret lower bound, showing that our algorithm is minimax-optimal up to poly-logarithmic factors. Furthermore, we extend our algorithm to the infinite-action setting and obtain a corresponding regret bound which demonstrates the benefit of representation learning in certain regimes. We also present experiments on synthetic and real-world data to illustrate our theoretical findings and demonstrate the effectiveness of our proposed algorithms.

研究の動機と目的

• 表現学習の利益を順序的意思決定において理論的に特徴づけること、特に複数タスク線形バンディットにおいて。
• 関連するバンディットタスク間で共通する低次元表現を活用するアルゴリズムを設計し、レグレットを低減すること。
• 表現学習による効率的向上を示す、タイトなレグレットバウンド（上界と下界）を確立すること。
• 無限行動設定へのフレームワークの拡張と、実験的妥当性の検証すること。

提案手法

• $T$ 個のタスク全体で共通する $k$ 次元の特徴抽出器 $\mathbf{B} \in \mathbb{R}^{d \times k}$ を同時に学習し、各タスクのパラメータ $\bm{\theta}_t = \mathbf{B} \mathbf{w}_t$ を定義する。
• 各タスクの報酬が埋め込み文脈 $\mathbf{B}^\top \mathbf{x}_{n,t,a}$ に対して線形である、文脈バンディットフレームワークを採用する。
• 共通表現の学習と個々のタスク方策の最適化の両方をバランスさせる、新しい探索戦略を採用する。
• 無限行動設定では、カーネル化または連続的行動バージョンを用いてアルゴリズムを拡張し、$\widetilde{O}(d^{1.5}k\sqrt{TN} + kT\sqrt{N})$ のレグレットバウンドを達成する。
• 理論的分析では、集中不等式と情報理論的下界を組み合わせ、最小最大最適性を確立する。
• 実験的検証は、合成データおよびMNISTデータセットを用いて、表現学習下でのパフォーマンス向上を示す。

実験結果

リサーチクエスチョン

• RQ1 表現学習は、複数タスク線形バンディットにおいて、証明可能な形でレグレットを低減できるか？
• RQ2 タスクが共通の低次元表現を持つ場合、根本的なレグレットの限界は何か？
• RQ3 タスク数 $T$ と表現次元 $k$ は、表現学習によるパフォーマンス向上にどのように影響するか？
• RQ4 無限行動バンディット設定でも、表現学習は依然として有益であるか？
• RQ5 十分なタスク多様性が不足している場合、負のトランスファーが発生する条件は何か？

主な発見

• 提案アルゴリズムは、有限行動設定で $\widetilde{O}(T\sqrt{kN} + \sqrt{dkNT})$ のレグレットを達成し、$T$ が大きい場合には独立学習の $\widetilde{O}(T\sqrt{dN})$ よりも厳密に優れている。
• $\Omega(T\sqrt{kN} + \sqrt{dkNT})$ のレグレット下界が確立され、アルゴリズムのレグレットが多項式対数要因を除いて最小最大最適であることが証明された。
• 無限行動設定では、$\widetilde{O}(d^{1.5}k\sqrt{TN} + kT\sqrt{N})$ のレグレットを達成し、$T = \widetilde{\Omega}(dk^2)$ のとき、ナイーブな $O(Td\sqrt{N})$ ベースラインを上回る。
• 合成データおよびMNISTデータに対する実験により、$T$ が増加するにつれてタスクごとのレグレットが減少することが確認され、多数タスク環境下での表現学習の利点が妥当化された。
• タスク数 $T$ が小さい場合には、負のトランスファーを示す。これは、タスク多様性が不足しているとパフォーマンスが悪化することを示している。
• ハイパーパramータスケーリング $N_1 = d^{1.5}k\sqrt{N/T}$ が重要である。$c=1.5$ のときのみ、PEGEなどのベースラインを実際に上回る。