[論文レビュー] Reinforcement Learning algorithms for regret minimization in structured Markov Decision Processes

K. J. Prabuchandran, Tejas Bodas+1 more|arXiv (Cornell University)|Aug 17, 2016

Advanced Bandit Algorithms Research参考文献 19被引用数 3

ひとこと要約

本稿では、有限時horizon MDPにおける累積リグレットを最小化するために、既知のポリシー構造（例：しきい値またはマルチしきい値ポリシー）を活用する構造的強化学習アルゴリズム—pUCB、pThompson、warmPSRL—を提案する。マルチアームバンディットフレームワークにおいて構造的ポリシーをアームとして扱い、再帰に基づくエピソードにより不偏な平均報酬推定を保証することで、PSRL や UCRL といった最先端手法と比較して、顕著に低いリグレット、より速い収束、低い計算コストを達成する。

ABSTRACT

A recent goal in the Reinforcement Learning (RL) framework is to choose a sequence of actions or a policy to maximize the reward collected or minimize the regret incurred in a finite time horizon. For several RL problems in operation research and optimal control, the optimal policy of the underlying Markov Decision Process (MDP) is characterized by a known structure. The current state of the art algorithms do not utilize this known structure of the optimal policy while minimizing regret. In this work, we develop new RL algorithms that exploit the structure of the optimal policy to minimize regret. Numerical experiments on MDPs with structured optimal policies show that our algorithms have better performance, are easy to implement, have a smaller run-time and require less number of random number generations.

研究の動機と目的

• 最適ポリシーに既知の構造（しきい値やマルチしきい値ポリシーなど）を持つ有限時horizon MDPにおける累積リグレットを最小化すること。
• 最適ポリシーの構造的知識を活用するモデルフリーRLアルゴリズムを開発し、リグレット最小化のパフォーマンスを向上させること。
• UCRL や PSRL といった既存のアルゴリズムがリグレット最小化中に既知のポリシー構造を活用しないという限界を是正すること。
• 再帰に基づくエピソード長を用いることで、任意のエピソード長が推定を損なうのを避ける不偏な長期平均報酬推定を保証すること。
• 最先端の手法と同等またはそれ以上のリグレットパフォーマンスを維持しながら、計算コストおよびサンプリングコストを低減すること。

提案手法

• 構造的ポリシーをマルチアームバンディット（MAB）フレームワークにおけるアームとして扱い、UCB やトムソンサンプリングの原則をRLに適用可能にする。
• 再帰時間に基づいてエピソード長を定義し、各ポリシーが自身の状態から再びその状態に戻る形で適用されるようにすることで、平均報酬の不偏推定を可能にする。
• pUCBでは、各ポリシーの平均報酬に対する上側信頼区間を維持し、ポリシー水準の推定に特化したUCBスタイルの探索戦略を採用する。
• pThompsonでは、各ポリシーの平均報酬に関する事後分布を維持し、この分布からサンプリングしてポリシーを選択する。これはMABにおけるトムソンサンプリングにインspiredされている。
• warmPSRLは、まずpThompsonを初期段階で用いてMDPパラメータを推定し、その後その推定値を事前分布としてPSRLに切り替える。
• 遷移行列や報酬行列の直接推定を避けることで、モデルフリーな動作を実現。代わりに、ポリシーの平均報酬を直接推定することに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 MDPにおける最適ポリシーの既知の構造的性質を、強化学習におけるリグレット最小化に活用できるか？
• RQ2 構造的ポリシーをバンディットフレームワークのアームとして扱うことで、リグレット性能および計算効率にどのような影響を与えるか？
• RQ3 再帰に基づくエピソード長の使用が、平均報酬推定の正確性およびリグレット最小化に与える影響は何か？
• RQ4 pUCB や pThompson は、PSRL や UCRL と比較して、リグレット、収束速度、サンプリング効率の面でどのように異なるか？
• RQ5 pThompsonを用いたウォームスタート戦略は、PSRLの初期学習段階におけるパフォーマンスを向上させることができるか？

主な発見

• pUCB と pThompson は、特にスロースーバー問題において、初期学習段階でPSRL や UCRL より顕著に優れた性能を示す。これはポリシー構造のより良い活用に起因する。
• マシン交換問題において、pThompson は最初の10万ラウンドでPSRL より低いリグレットを達成し、優れた初期学習パフォーマンスを示している。
• warmPSRL は、全体のリグレット性能がPSRLに非常に近い一方で、初期段階のリグレットがより良好であり、pThompsonによるパラメータ推定を効果的に活用していることが示された。
• 提案手法は、PSRL や UCRL よりも少ない乱数生成回数と短い実行時間を要しており、計算コストが低いことが示された。
• 数値実験により、ポリシー構造を活用することで、限られたサンプルデータでも収束が速くなり、リグレット最小化が向上することが確認された。
• 再帰に基づくエピソードの使用により、平均報酬推定の不偏性が保証され、任意のエピソード長を仮定する手法に比べて、重要な技術的優位性を有する。