[論文レビュー] Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs

Andrea Zanette, Emma Brunskill|arXiv (Cornell University)|Nov 3, 2019

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

この論文は、エージェントがバンディット構造を把握していなくても、表形式の文脈的バンディット問題において、$ ilde{O}( ext{SAT})$ の近似的最適なレグレットバウンドを自動的に達成する UCRL2 強化学習アルゴリズムの微小な変種を提案する。この手法は問題依存の解析を活用し、ユーザーの介入やアルゴリズムの変更なしに、より単純なフレームワークの最良のパフォーマンスを継承する。

ABSTRACT

In order to make good decision under uncertainty an agent must learn from observations. To do so, two of the most common frameworks are Contextual Bandits and Markov Decision Processes (MDPs). In this paper, we study whether there exist algorithms for the more general framework (MDP) which automatically provide the best performance bounds for the specific problem at hand without user intervention and without modifying the algorithm. In particular, it is found that a very minor variant of a recently proposed reinforcement learning algorithm for MDPs already matches the best possible regret bound $ ilde O (\sqrt{SAT})$ in the dominant term if deployed on a tabular Contextual Bandit problem despite the agent being agnostic to such setting.

研究の動機と目的

• 真の問題構造が想定よりも単純な場合に、ユーザーが指定しなくても、より単純な意思決定フレームワーク（例：文脈的バンディット）の最良のパフォーマンス境界を自動で継承できる強化学習アルゴリズムを開発すること。
• 強化学習におけるフレームワーク不一致の課題に対処すること。すなわち、MDP、バンディット、POMDP のどれを選ぶべきかが明確でない場合が多く、学習効率に影響を与える。
• ユーザーが事前にフレームワークを指定しなくても、潜在的な構造（例：バンディット対MDP）に適応する問題依存のレグレットバウンドを提供すること。
• MDP と文脈的バンディットの理論的境界のギャップを埋めること、特に主要な $\sqrt{SAT}$ 項に注目する。

提案手法

• 真の問題が文脈的バンディットである設定において、UCRL2 アルゴリズムのレグレット解析を改善するための微小な修正を導入する。
• ヒット時間と訪問回数に条件づける問題依存の解析を用い、よりタイトな境界を導出する。
• マルコフ不等式とホフディング不等式を適用し、過剰な状態訪問確率を制御する。幾何分布近似を活用する。
• 最大平均ヒット時間 $T_{\text{hit}}$ と状態行動ペアへの訪問回数を用いて、レグレットの増加を制御する。
• 状態行動ペアへの期待訪問回数が $T_{\text{hit}} \cdot \max\{1, N_k(s_{k_2}, \pi(s_{k_2}))\}$ で有界であることを証明し、よりタイトなレグレット制御を可能にする。
• 表形式の文脈的バンディットに適用した場合、アルゴリズムのパフォーマンスが $\tilde{O}(\sqrt{SAT})$ のオーダーに比例することを示し、バンディット特化アルゴリズムの最良の既知の境界と一致する。

実験結果

リサーチクエスチョン

• RQ1 真の環境が表形式の文脈的バンディットである場合、MDPベースの強化学習アルゴリズムが、$\tilde{O}(\sqrt{SAT})$ の最良の可能なレグレットバウンドを自動で達成できるか？
• RQ2 UCRL2 の問題依存解析により、明示的な修正やフレームワークの事前知識がなくても、バンディットのようなより単純な構造に適応できるか？
• RQ3 環境が実際にバンディットである場合、ホライズン $H$ に依存しないレグレットバウンドが得られるか？これによりバンディット特化の境界に一致するか？
• RQ4 最大平均ヒット時間 $T_{\text{hit}}$ は、MDP アルゴリズムがバンディットに類似した環境でレグレットを制御するために果たす役割は何か？
• RQ5 状態訪問パターンやポリシーの安定性といった構造的性質を活用することで、MDP アルゴリズムのレグレット境界をよりタイトに導出できるか？

主な発見

• UCRL2 の微小な変種が、表形式の文脈的バンディット問題において $\tilde{O}(\sqrt{SAT})$ のレグレットバウンドを達成し、バンディット特化アルゴリズムの最良の既知の境界と一致する。
• ユーザーが事前にバンディット構造を特定または指定しなくても、このアルゴリズムは文脈的バンディットのパフォーマンスを自動で継承する。
• ヒット時間と訪問回数に条件づける問題依存の解析により、状態訪問の制御がよりタイトに実現される。
• 状態行動ペアへの期待訪問回数が $T_{\text{hit}} \cdot \max\{1, N_k(s_{k_2}, \pi(s_{k_2}))\}$ で有界であることが、最終的な境界の導出に不可欠である。
• 幾何確率変数の近似とホフディングの不等式を用いて、訪問回数の尾確率を制御し、高確率でのレグレット制御を可能にする。
• 分析により、環境が想定よりも単純である場合でも、アルゴリズムのパフォーマンスが滑らかに劣化し、バンディット設定における主要項で最適なスケーリングを達成することが示された。