[論文レビュー] Online Reinforcement Learning of Optimal Threshold Policies for Markov Decision Processes

Arghyadip Roy, Vivek S. Borkar+2 more|arXiv (Cornell University)|Dec 21, 2019

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、マルコフ決定過程における最適方策の順序付きマルチスレッショルド構造を活用する、構造に配慮したオンライン強化学習アルゴリズムSALMUTを提案する。2つの時間スケールの確率的近似スキームにより、スレッショルドパラメータのみを学習することで、古典的RL手法と比較して収束が速く、計算および記憶の複雑さが低減される。理論的に最適方策への漸近的収束が保証され、シミュレーションにより検証されている。

ABSTRACT

To overcome the curses of dimensionality and modeling of Dynamic Programming (DP) methods to solve Markov Decision Process (MDP) problems, Reinforcement Learning (RL) methods are adopted in practice. Contrary to traditional RL algorithms which do not consider the structural properties of the optimal policy, we propose a structure-aware learning algorithm to exploit the ordered multi-threshold structure of the optimal policy, if any. We prove the asymptotic convergence of the proposed algorithm to the optimal policy. Due to the reduction in the policy space, the proposed algorithm provides remarkable improvements in storage and computational complexities over classical RL algorithms. Simulation results establish that the proposed algorithm converges faster than other RL algorithms.

研究の動機と目的

• MDPにおける動的計画法の次元の呪いとモデリングの問題を、最適方策の構造的性質を活用することで解決すること。
• 順序付きマルチスレッショルド方策に限定することで、方策探索空間を縮小し、計算および記憶の効率を向上させること。
• 遷移確率の事前知識が不要なオンライン学習アルゴリズムを開発し、最適スレッショルド方策に漸近的に収束させること。
• 理論的分析とシミュレーションを通じて、古典的RLアルゴリズムと比較して収束が速く、複雑さが低いことを示すこと。

提案手法

• アルゴリズムは、値関数を高速時間スケールで、スレッショルドパラメータを低速時間スケールで更新する2時間スケールの確率的近似フレームワークを用いる。
• スレッショルドパラメータは、同時摂動確率的近似を用いて、平均報酬に対するスレッショルドの勾配推定値に基づいて更新される。
• 価値関数差の単調性を強制することで、学習中にスレッショルド構造を保持する。
• スレッショルドパラメータに関して平均報酬が単峰性を示す性質を活用し、効率的な勾配ベース最適化を可能にする。
• 全方策の列挙を避けるために、学習をスレッショルドパラメータに限定することで、探索空間を顕著に削減する。
• サンプリングされた遷移を用いて、価値関数の更新をサンプル報酬と状態遷移に基づいて反復的に実行する。

実験結果

リサーチクエスチョン

• RQ1 最適方策の既知のマルチスレッショルド構造を活用することで、MDPにおけるオンライン強化学習の収束が速くなるか？
• RQ2 最適方策への漸近的収束を維持しつつ、どのようにして方策探索空間を効果的に縮小できるか？
• RQ3 古典的RLアルゴリズムと比較して、構造に配慮した学習が計算および記憶の複雑さにどのような影響を与えるか？
• RQ4 確率的摂動を伴う環境下でも、勾配ベースのスレッショルド更新が安定的かつ収束する学習をもたらすか？
• RQ5 スレッショルドパラメータに関して平均報酬が単峰性を示す性質を活用することで、効率的なオンライン学習アルゴリズムを設計できるか？

主な発見

• ステップサイズおよびサンプリングに関する標準的仮定の下で、SALMUTアルゴリズムは最適スレッショルド方策に漸近的に収束する。
• 方策探索空間の縮小により、古典的Q学習およびPDSベース手法と比較して収束が速い。
• 全状態行動ペairの値関数を学習するのではなくスレッショルドパラメータのみを学習することで、記憶および計算の複雑さが顕著に低減される。
• 各スレッショルドパラメータに関して平均報酬が単峰性であることが理論的に証明され、効率的な勾配ベース最適化が可能になる。
• シミュレーション結果から、複数の顧客クラスを持つ有限バッファマルチサーバーキューにおいて、SALMUTがベースラインRLアルゴリズムよりも速く収束することが確認された。
• 学習の全過程で構造的一致性（例：価値関数差の単調性）を維持しており、すべての反復でスレッショルド方策が有効であることが保証されている。