[論文レビュー] Variance-Aware Confidence Set: Variance-Dependent Bound for Linear Bandits and Horizon-Free Bound for Linear Mixture MDP

Zihan Zhang, Jiaqi Yang+2 more|arXiv (Cornell University)|Jan 29, 2021

Advanced Bandit Algorithms Research参考文献 39被引用数 9

ひとこと要約

本稿では、新しいピーリング技術、再帰的分散推定、および凸ポテンシャル補題を活用して、線形バンディットおよび線形ミックスチャルMDPにおける分散に配慮した信頼集合を導入する。線形バンディットに対しては、$ widetilde{O}( mathrm{poly}(d) sqrt{1 + \sum \sigma_i^2})$ の分散依存のレギュレートバウンドを達成し、これは初めての結果である。線形ミックスチャルMDPに対しては、$H$ に明示的な多項式依存を持たない、初のホライズンフリーのレギュレートバウンド $ widetilde{O}( mathrm{poly}(d, \log H) sqrt{K})$ を得る。

ABSTRACT

We show how to construct variance-aware confidence sets for linear bandits and linear mixture Markov Decision Process (MDP). Our method yields the following new regret bounds: * For linear bandits, we obtain an $\widetilde{O}(\mathrm{poly}(d)\sqrt{1 + \sum_{i=1}^{K}\sigma_i^2})$ regret bound, where $d$ is the feature dimension, $K$ is the number of rounds, and $\sigma_i^2$ is the (unknown) variance of the reward at the $i$-th round. This is the first regret bound that only scales with the variance and the dimension, with no explicit polynomial dependency on $K$. * For linear mixture MDP, we obtain an $\widetilde{O}(\mathrm{poly}(d, \log H)\sqrt{K})$ regret bound, where $d$ is the number of base models, $K$ is the number of episodes, and $H$ is the planning horizon. This is the first regret bound that only scales logarithmically with $H$ in the reinforcement learning with linear function approximation setting, thus exponentially improving existing results. Our methods utilize three novel ideas that may be of independent interest: 1) applications of the peeling techniques to the norm of input and the magnitude of variance, 2) a recursion-based approach to estimate the variance, and 3) a convex potential lemma that somewhat generalizes the seminal elliptical potential lemma.

研究の動機と目的

• 線形バンディットにおける報酬の分散に適応する信頼集合を構築し、ラウンド数に依存するのではなく、より良いレギュレートバウンドを達成すること。
• 線形ミックスチャルMDPのレギュレートバウンドにおいて、計画ホライズン $H$ に明示的な多項式依存を排除し、対数スケーリングにすること。
• 関数近似を用いた強化学習に応用可能な、新たな解析的ツール（ノルムおよび分散におけるピーリング、再帰的分散推定、一般化された凸ポテンシャル補題）を導入すること。
• 特徴次元 $d$、総分散 $\sum \sigma_i^2$、および $K$ に明示的な依存を持たない、線形バンディットにおける初めてのレギュレートバウンドを提供すること。
• 線形関数近似RLにおける新たなベンチマークを確立し、線形ミックスチャルMDP設定でホライズンフリーのレギュレートバウンドを達成すること。

提案手法

• 特徴ベクトルのノルムおよび報酬分散の大きさの両方に対してピーリング技術を適用し、よりタイトな濃度バウンドを実現する。
• オンラインで報酬の分散を推定する再帰的アプローチを提案し、分散に配慮した信頼集合の構築に不可欠である。
• 古典的な楕円型ポテンシャル補題を一般化した凸ポテンシャル補題を導入し、分散依存の解析を支援する。
• 観測された報酬分散に適応する信頼集合を構築し、高分散領域における過剰な慎重さを低減する。
• 分散に配慮した信頼集合と、探索と活用の戦略を組み合わせ、改善されたレギュレートバウンドを導出する。
• レギュレートの寄与要因を分散と次元性に分離する新しい分解を採用し、より厳密な制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 線形バンディットにおける信頼集合は、報酬の実際の分散に適応させることができ、境界付きまたは既知の分散を仮定するのではなく、構築可能か？
• RQ2 線形ミックスチャルMDPにおけるレギュレートバウンドは、計画ホライズン $H$ に対して多項式的ではなく対数的スケーリングで達成可能か？
• RQ3 楕円型ポテンシャル補題は、関数近似設定における分散依存解析をサポートするように一般化可能か？
• RQ4 再帰的分散推定は、オンライン学習アルゴリズムに統合され、レギュレート保証の向上に寄与可能か？
• RQ5 線形関数近似設定において、$K$ と $H$ に依存するレギュレートの分離を達成するために、どのような新たな解析的技術が必要か？

主な発見

• 線形バンディットにおいて、本稿は $\widetilde{O}(\mathrm{poly}(d)\sqrt{1 + \sum_{i=1}^{K}\sigma_i^2})$ のレギュレートバウンドを達成し、これは特徴次元 $d$ および累積分散 $\sum \sigma_i^2$ のみに依存し、$K$ に明示的な依存がない。
• これは、$K$ に明示的な多項式依存を持たない、線形バンディットにおける初のレギュレートバウンドである。代わりに、累積分散の平方根に比例するスケーリングを達成する。
• 線形ミックスチャルMDPにおいて、本稿は $\widetilde{O}(\mathrm{poly}(d, \log H)\sqrt{K})$ のレギュレートバウンドを導出する。これは計画ホライズン $H$ に対して対数的スケーリングである。
• ホライズンフリーのバウンドは、$H$ に多項式的依存する従来の結果に比べ、指数的改善を示す。
• 提案された凸ポテンシャル補題は、古典的な楕円型ポテンシャル補題を一般化し、高次元設定における分散に配慮した解析を可能にする。
• 再帰的分散推定技術により、事前の知識がなくても正確なオンライン分散追跡が可能となり、適応的信頼集合の構築に不可欠である。