[論文レビュー] A Sliding-Window Algorithm for Markov Decision Processes with Arbitrarily Changing Rewards and Transitions

Pratik Gajane, Ronald Ortner+1 more|arXiv (Cornell University)|May 25, 2018

Reinforcement Learning in Robotics参考文献 8被引用数 36

ひとこと要約

本稿では、報酬関数と遷移確率が時間とともに任意に変化するマルコフ決定過程（MDP）に対して、スライディングウィンドウ強化学習アルゴリズムであるSW-Ucrlを提案する。最近の経験を有限のウィンドウで保持することで、変化に迅速に適応でき、最適な非定常方策に対するレグレットバウンドが $\mathcal{O}(l^{1/3}T^{2/3}D^{2/3}S^{2/3}(A\log(T/\delta))^{1/3})$ に抑えられることを示した。これは、変化回数、状態空間、行動空間に依存する点で、先行研究を改善している。

ABSTRACT

We consider reinforcement learning in changing Markov Decision Processes where both the state-transition probabilities and the reward functions may vary over time. For this problem setting, we propose an algorithm using a sliding window approach and provide performance guarantees for the regret evaluated against the optimal non-stationary policy. We also characterize the optimal window size suitable for our algorithm. These results are complemented by a sample complexity bound on the number of sub-optimal steps taken by the algorithm. Finally, we present some experimental results to support our theoretical analysis.

研究の動機と目的

• 報酬関数と遷移確率が時間とともに任意に変化するMDPにおける強化学習に対処すること。
• 変化点の事前知識がなくても、その変化に迅速に適応できるアルゴリズムの開発。
• スイッチングMDPにおける最適な非定常方策に対する高確率でのレグレットバウンドの提供。
• アルゴリズムがとる非最適なステップ数に関するサンプル複雑度のバウンドの導出。
• 理論的結果の妥当性を、合成スイッチングMDPにおける実験的評価を通じて検証すること。

提案手法

• アルゴリズムSW-Ucrlは、Ucrl2の変種であり、最近の遷移データのウィンドウを用いて、状態-行動遷移および報酬分布を推定する。
• 有限なウィンドウサイズ $W$ を維持し、ウィンドウが満杯になったときまたは新しいエピソードが発生したときにのみ方策を再計算する。
• ウィンドウサイズ $W$ は、変化回数 $l$、状態空間サイズ $S$、行動空間サイズ $A$、時間枠 $T$ などの問題パラメータに基づいて適応的に選択される。
• スライディングウィンドウ内での探索と活用のバランスを図るために、UCB風の探索ボーナスを用いる。
• レグレット解析は、安定したエピソード内での学習によるレグレットと、MDPの変化に起因するレグレットに分解して行う。
• サンプル複雑度のバウンドは、各ウィンドウ内での収束までに非最適行動がとられる回数を分析することで導出される。

実験結果

リサーチクエスチョン

• RQ1 スライディングウィンドウアプローチは、スイッチングMDPにおけるUcrl2のリスタート手法と比較して、$D$、$S$、$A$ に依存するレグレットの依存関係を改善できるか？
• RQ2 SW-Ucrlのレグレットバウンドを最小化する最適なウィンドウサイズ $W$ は何か？
• RQ3 変化が未知の間隔で発生する状況において、アルゴリズムは実際の性能をどのように示すか？
• RQ4 変化回数の事前知識がなくても、非最適ステップ数のバウンドを達成できるか？
• RQ5 報酬および遷移の変動の程度と、達成可能な最小レグレットとの間に相関があるか？

主な発見

• ウィンドウサイズを最適に選択した場合、SW-Ucrlのレグレットは $\mathcal{O}(l^{1/3}T^{2/3}D^{2/3}S^{2/3}(A\log(T/\delta))^{1/3})$ に抑えられる。
• 特に状態空間や行動空間が大きい場合に顕著に、Ucrl2のリスタート手法と比較して、$D$、$S$、$A$ に依存する点でより優れたレグレットバウンドを達成している。
• 実験では、変化回数を2から4に増やした場合に、Ucrl2のリスタート手法と比較してより低いレグレットを示した。
• レグレット曲線に変化点で特徴的な「盛り上がり」が観察され、アルゴリズムのMDPシフトへの迅速な反応性が裏付けられた。
• サンプル複雑度のバウンドが確立され、非最適ステップ数がウィンドウサイズおよび問題パラメータによって制御されることを示した。
• 最適なウィンドウサイズ $W$ は、$T$、$l$、$S$、$A$、$\delta$ の関数として導出され、学習の正確さと適応速度のバランスをとる。