[論文レビュー] Reward Biased Maximum Likelihood Estimation for Reinforcement Learning

Akshay Mete, Rahul Singh+2 more|arXiv (Cornell University)|Nov 16, 2020

Advanced Bandit Algorithms Research参考文献 37被引用数 6

ひとこと要約

この論文は、未知のマルコフ決定過程における強化学習のための報酬バイアス付き最尤推定（RBMLE）を提案し、より高い最適報酬を持つパラメータにバイアスをかけることで、探索と活用のバランスをとる。理論的に、Tステップの間に$O(\log T)$のレギュレートを達成することが証明され、最先端のアルゴリズムと同等の性能を示し、シミュレーションでもUCRL2やトムソンサンプリングを上回る優れた経験的性能を示した。

ABSTRACT

The Reward-Biased Maximum Likelihood Estimate (RBMLE) for adaptive control of Markov chains was proposed to overcome the central obstacle of what is variously called the fundamental "closed-identifiability problem" of adaptive control, the "dual control problem", or, contemporaneously, the "exploration vs. exploitation problem". It exploited the key observation that since the maximum likelihood parameter estimator can asymptotically identify the closed-transition probabilities under a certainty equivalent approach, the limiting parameter estimates must necessarily have an optimal reward that is less than the optimal reward attainable for the true but unknown system. Hence it proposed a counteracting reverse bias in favor of parameters with larger optimal rewards, providing a solution to the fundamental problem alluded to above. It thereby proposed an optimistic approach of favoring parameters with larger optimal rewards, now known as "optimism in the face of uncertainty". The RBMLE approach has been proved to be long-term average reward optimal in a variety of contexts. However, modern attention is focused on the much finer notion of "regret", or finite-time performance. Recent analysis of RBMLE for multi-armed stochastic bandits and linear contextual bandits has shown that it not only has state-of-the-art regret, but it also exhibits empirical performance comparable to or better than the best current contenders, and leads to strikingly simple index policies. Motivated by this, we examine the finite-time performance of RBMLE for reinforcement learning tasks that involve the general problem of optimal control of unknown Markov Decision Processes. We show that it has a regret of $\mathcal{O}( \log T)$ over a time horizon of $T$ steps, similar to state-of-the-art algorithms. Simulation studies show that RBMLE outperforms other algorithms such as UCRL2 and Thompson Sampling.

研究の動機と目的

• 未知のマルコフ決定過程における強化学習のための探索と活用のトレードオフを扱う。
• モデルの不確実性下でも学習とパフォーマンスのバランスを取る有限時間レギュレート最適なアルゴリズムを開発する。
• これまで適応制御やバンディット問題で使われてきたRBMLEフレームワークを、平均報酬基準を満たす一般のMDPに拡張する。
• RBMLEが最先端のレギュレートバウンドを達成し、強化学習の文脈で優れた経験的性能を示すことを実証する。

提案手法

• RBMLEは、最尤推定プロセスに報酬バイアスを導入し、より高い最適報酬を持つパラメータ推定を優遇する。
• 遷移モデルの尤度に基づく推定を構築し、その後、より高い長期的報酬の可能性を持つモデルを優遇する逆方向のバイアスを適用する。
• 確実性同等のアプローチを用いるが、標準的な最尤推定が最適方策に至るのを妨げるバイアスを補正する。
• バイアス付きパラメータ分布下での最適方策の楽観的推定に基づいて、行動を選択する。
• 標準的な最尤推定は漸近的に真の遷移モデルを特定するが、最適報酬を低く見積もるため、逆方向のバイアスを適用する理論的性質を利用している。
• レギュレート解析は平均報酬基準に基づき、最適な累積報酬と実際の累積報酬の差としてパフォーマンスを測定する。

実験結果

リサーチクエスチョン

• RQ1 RBMLEは、未知のMDPにおける平均報酬設定で$O(\log T)$のレギュレートを達成できるか？
• RQ2 RBMLEの有限時間性能は、UCRL2 やトムソンサンプリングといった最先端のアルゴリズムと比べてどうか？
• RQ3 報酬バイアス機構は、一般のMDPにおける探索と活用のバランスを効果的にとれるか？
• RQ4 RBMLEはバンディット設定から完全なMDPに拡張可能であり、レギュレート最適性を保持できるか？

主な発見

• RBMLEは時間窓Tステップの間に$O(\log T)$のレギュレートバウンドを達成し、最先端のアルゴリズムと同等の性能を示した。
• シミュレーション結果から、累積報酬および収束速度の観点で、RBMLEはUCRL2やトムソンサンプリングを上回った。
• さまざまな強化学習タスクにおいて、RBMLEは現在の最良の競合アルゴリズムと同等またはそれ以上の経験的パフォーマンスを示した。
• 報酬バイアス付き最尤推定アプローチは、より高い潜在的報酬を持つ楽観的パラメータ推定を優遇することで、探索と活用のジレンマを効果的に解決した。