[論文レビュー] Parameterized MDPs and Reinforcement Learning Problems -- A Maximum Entropy Principle Based Framework

Amber Srivastava, Srinivasa M. Salapaka|arXiv (Cornell University)|Jun 17, 2020

Reinforcement Learning in Robotics参考文献 53被引用数 14

ひとこと要約

本稿では、パラメータ化されたマルコフ決定過程（MDP）および強化学習（RL）問題に対する、最大エントロピー原理（MEP）に基づくフレームワークを提案する。このフレームワークは、コスト制約のもとで軌道エントロピーを最大化することで、ノイズの多いデータ下でもロバストな方策学習を可能にする。探索と活用のバランスを、ラグランジュ乗数のアニーリングを用いて実現し、Q学習、ダブルQ学習、ソフトQ学習と比較して収束が速く、ロバスト性に優れる。また、5Gスモールセルネットワークのような複雑なシステムにおける感度解析と最適パラメータの同定も可能である。

ABSTRACT

We present a framework to address a class of sequential decision making problems. Our framework features learning the optimal control policy with robustness to noisy data, determining the unknown state and action parameters, and performing sensitivity analysis with respect to problem parameters. We consider two broad categories of sequential decision making problems modelled as infinite horizon Markov Decision Processes (MDPs) with (and without) an absorbing state. The central idea underlying our framework is to quantify exploration in terms of the Shannon Entropy of the trajectories under the MDP and determine the stochastic policy that maximizes it while guaranteeing a low value of the expected cost along a trajectory. This resulting policy enhances the quality of exploration early on in the learning process, and consequently allows faster convergence rates and robust solutions even in the presence of noisy data as demonstrated in our comparisons to popular algorithms such as Q-learning, Double Q-learning and entropy regularized Soft Q-learning. The framework extends to the class of parameterized MDP and RL problems, where states and actions are parameter dependent, and the objective is to determine the optimal parameters along with the corresponding optimal policy. Here, the associated cost function can possibly be non-convex with multiple poor local minima. Simulation results applied to a 5G small cell network problem demonstrate successful determination of communication routes and the small cell locations. We also obtain sensitivity measures to problem parameters and robustness to noisy environment data.

研究の動機と目的

• ノイズや不完全なデータを伴うMDPにおける逐次意思決定問題を、探索の質を向上させることで解決すること。
• 吸収状態を有する・ないにかかわらず無限時間ホライズンMDPにおける最適方策の学習を統合的に実現するフレームワークの構築。
• 環境データのノイズや状態／行動パラメータの未知性が存在する状況でもロバストな学習を可能にすること。
• 問題パラメータに対する感度解析を実施し、最適なパラメータ設定を同定すること。
• コスト関数が非凸で複数の局所的最小値を有する場合でも、パラメータ化されたMDPにこのフレームワークを拡張すること。

提案手法

• 最大エントロピー原理（MEP）を用いてMDPを組合せ最適化問題として定式化し、期待累積コストに関する制約のもとで軌道エントロピーを最大化する。
• 探索（エントロピー）と活用（コスト）のトレードオフを制御するラグランジュ乗数βを導入し、高エントロピーの確率的方策から低エントロピーの決定的方策へのアニーリングプロセスを可能にする。
• MEPフレームワーク下での状態行動価値関数に対するベルマンに類似した更新式を導出。逆温度パラメータβによるエントロピー正則化を組み込む。
• 収縮写像の議論を用いて、反復的方策更新スキームの収束を証明し、確率的更新のもとでも安定性を保証する。
• パラメータ化されたMDPにこのフレームワークを適用し、方策と未知パラメータを同時に最適化。勾配ベースの更新により感度解析を可能にする。
• 有界な分散を持つ確率的反復更新ルールを採用し、緩い正則性条件のもとで収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーRLにおける探索を、ノイズの多いデータ下でも収束性とロバスト性を向上させるために、どのように体系的かつ一貫して強化できるか？
• RQ2 無限時間ホライズンMDP（吸収状態を有する・ないにかかわらず）に最大エントロピー原理を効果的に適用できるか。これにより、安定的かつ最適な方策学習が保証されるか？
• RQ3 非凸コスト関数を有するパラメータ化されたMDPにおいて、制御方策と未知システムパラメータを同時に最適化するフレームワークはどのように構築できるか？
• RQ4 ラグランジュ乗数βが探索と活用のバランスをどのように果たすか。βのアニーリングプロセスが学習性能をどのように向上させるか？
• RQ5 このフレームワークは、実世界の応用において、問題パラメータに対する感度測定とノイズ耐性をどの程度提供できるか？

主な発見

• ノイズの多いデータ下でも、Q学習、ダブルQ学習、ソフトQ学習と比較して、MEPベースのフレームワークは収束が速く、ロバスト性に優れる。
• ラグランジュ乗数βに対するアニーリングプロセスにより、高エントロピーの探索から低エントロピーの活用への滑らかな移行が実現され、安定的かつ最適な方策学習が達成された。
• 最適方策をシステムパラメータに関して微分することで、パラメータのロバスト性に関する洞察を得られる感度解析が可能になった。
• 5Gスモールセルネットワークのシミュレーションでは、最適な通信ルートとスモールセルの配置が正しく同定され、実世界のネットワーク最適化への適用可能性が示された。
• 収縮写像の議論により理論的収束性が確立され、確率的更新における分散が有界であるため、ノイズの多い観測下でも安定性が保証された。
• コスト関数が非凸で複数の局所的最小値を有する場合でも、ベースラインアルゴリズムに比べ、解の品質とロバスト性において優れた性能を示した。