[論文レビュー] Optimistic Policy Optimization with Bandit Feedback

Yonathan Efroni, Lior Shani+2 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Bandit Algorithms Research参考文献 47被引用数 11

ひとこと要約

本稿では、遷移確率が未知でバンディットフィードバックが得られる表形式の有限horizon MDPにおけるモデルベース強化学習のための楽観的方策最適化アルゴリズムを提案する。確率的報酬の場合は$×\tilde{O}(\sqrt{S^{2}AH^{4}K})$のリグレットを達成し、悪意のある報酬の場合は$\tilde{O}(\sqrt{S^{2}AH^{4}}K^{2/3})$を達成する。これは、これらの条件下での方策最適化における最初の非線形リグレットバウンドを示している。

ABSTRACT

Policy optimization methods are one of the most widely used classes of Reinforcement Learning (RL) algorithms. Yet, so far, such methods have been mostly analyzed from an optimization perspective, without addressing the problem of exploration, or by making strong assumptions on the interaction with the environment. In this paper we consider model-based RL in the tabular finite-horizon MDP setting with unknown transitions and bandit feedback. For this setting, we propose an optimistic trust region policy optimization (TRPO) algorithm for which we establish $ ilde O(\sqrt{S^2 A H^4 K})$ regret for stochastic rewards. Furthermore, we prove $ ilde O( \sqrt{ S^2 A H^4 } K^{2/3} ) $ regret for adversarial rewards. Interestingly, this result matches previous bounds derived for the bandit feedback case, yet with known transitions. To the best of our knowledge, the two results are the first sub-linear regret bounds obtained for policy optimization algorithms with unknown transitions and bandit feedback.

研究の動機と目的

• 遷移確率が未知でバンディットフィードバックが得られるモデルフリーな設定における方策最適化の理論的リグレット保証の欠如に対処する。
• 困難な探索設定における方策最適化アルゴリズムとその理論的性能のギャップを埋める。
• 一様連鎖MDPや濃縮係数のような制限的な仮定に依存せずに、確率的および悪意のある報酬の両制度における非線形リグレットバウンドを確立する。
• 楽観的アプローチとバンディットフィードバックを統合する新しい分析フレームワークを提供し、効率的な探索を可能にする。

提案手法

• 価値関数の信頼区間を維持し、バンディットフィードバックに重要度サンプリングを適用する楽観的方策最適化アルゴリズム（POMD）を提案する。
• Bregman散発を用いたミラー降下に基づく状態ごとの閉形式のポリシー更新ルールを導入し、効率的な最適化を可能にする。
• 遷移モデルと報酬推定の信頼区間から導かれるボーナス項をコスト関数に追加し、探索を促進する。
• 楽観的計画の構造を活用して、真のモデルと推定モデル間の訪問頻度差に対する新しい集中不等式を適用する。
• すべての状態とエピソードにわたる和集合を用いた、真の状態行動訪問頻度と推定値の差の高確率バウンドを採用する。
• マーティングールの集中性を用いて、全リグレットを推定誤差、最適化誤差、および探索ボーナス項に分解し、リグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 遷移確率が未知でバンディットフィードバックのみが得られる表形式MDPにおいて、方策最適化アルゴリズムは非線形リグレットを達成できるか？
• RQ2 同じバンディットフィードバック設定下で、方策最適化の性能は占有測度に基づく手法と比べてどうか？
• RQ3 バンディットフィードバック下で、リグレットがエピソード数$K$、状態空間サイズ$S$、行動空間サイズ$A$、およびホライズン$H$にどのように依存するか？
• RQ4 不確実性の面前での楽観的アプローチを、部分的フィードバック下でのポリシー勾配スタイルの更新と効果的に組み合わせられるか？
• RQ5 完全情報設定で導出された最先端のリグレットバウンドを、バンディットフィードバックのみが利用可能な状況で達成できるか？

主な発見

• 提案されたPOMDアルゴリズムは、確率的報酬の場合に$×\tilde{O}(\sqrt{S^{2}AH^{4}K})$のリグレットを達成し、完全情報設定下での最良の既知のバウンドと一致する。
• 悪意のある報酬の場合、アルゴリズムは$\tilde{O}(\sqrt{S^{2}AH^{4}}K^{2/3})$のリグレットを達成し、Neuら（2010a）の完全情報設定下での楽観的方策最適化の上界と一致する。
• これらのリグレットバウンドは、遷移確率が未知でバンディットフィードバックが得られる状況下での方策最適化における最初の非線形結果であり、重要な理論的ギャップを埋めている。
• 分析から、価値関数の楽観的アプローチとモデル推定をバンディットフィードバック下でのポリシー更新と効果的に組み合わせられると示された。
• 悪意ある報酬系列に対してもアルゴリズムの性能が頑健であることが、悪性ケースにおける$K^{2/3}$依存性によって裏付けられている。
• 濃縮係数や一様連鎖仮定に依存しないため、これらはしばしば実用的には不成立または無限大になることがある。