[論文レビュー] Acting in Delayed Environments with Non-Stationary Markov Policies

Esther Derman, Gal Dalal+1 more|arXiv (Cornell University)|Jan 28, 2021

Reinforcement Learning in Robotics参考文献 31被引用数 4

ひとこと要約

本稿は、遅延実行が生じる環境における強化学習のための非定常マルコフ方策フレームワークを導入し、元の状態空間における決定的非定常方策が最適かつ十分であることを証明している。本稿では、状態拡張を回避するモデルベースのQ学習アルゴリズムであるDelayed-Qを提案し、表形式、物理的、アーケードゲーム（Atari）の環境において、遅延が大きい場合（m=25）でも高速な収束と優れた性能を達成している。

ABSTRACT

The standard Markov Decision Process (MDP) formulation hinges on the assumption that an action is executed immediately after it was chosen. However, assuming it is often unrealistic and can lead to catastrophic failures in applications such as robotic manipulation, cloud computing, and finance. We introduce a framework for learning and planning in MDPs where the decision-maker commits actions that are executed with a delay of $m$ steps. The brute-force state augmentation baseline where the state is concatenated to the last $m$ committed actions suffers from an exponential complexity in $m$, as we show for policy iteration. We then prove that with execution delay, deterministic Markov policies in the original state-space are sufficient for attaining maximal reward, but need to be non-stationary. As for stationary Markov policies, we show they are sub-optimal in general. Consequently, we devise a non-stationary Q-learning style model-based algorithm that solves delayed execution tasks without resorting to state-augmentation. Experiments on tabular, physical, and Atari domains reveal that it converges quickly to high performance even for substantial delays, while standard approaches that either ignore the delay or rely on state-augmentation struggle or fail due to divergence. The code is available at github.com/galdl/rl_delay_basic and github.com/galdl/rl_delay_atari.

研究の動機と目的

• ロボット工学、ファイナンス、クラウドコンピューティングなど、多くの分野で見られる遅延実行を伴う強化学習の理論的・実用的フレームワークの不足に取り組む。
• 遅延実行を扱うために状態拡張が必要であるという仮定に挑戦し、その長さmに伴う指数的複雑性に起因する問題を解消する。
• 遅延実行下でも、元の状態空間における決定的非定常マルコフ方策が最適かつ十分であることを証明する。
• 状態拡張を回避し、連続的・高次元な環境（例：Atari）にスケーリング可能な実用的でモデルベースのアルゴリズムを開発する。

提案手法

• 行動選択からmステップ後に実行される遅延MDPを定式化し、非マルコフ的プロセスをモデル化する。
• 元の状態空間における決定的非定常方策が最適性能を達成するために十分であり、定常方策は劣っていることを証明する。
• 状態拡張を一切行わず、元の状態空間で直接非定常Q値を学習するモデルベースのQ学習アルゴリズムであるDelayed-Qを提案する。
• 遅延観測から最も可能性の高い現在の状態を推定する計画ベースのアプローチを用い、効率的な価値更新を可能にする。
• mステップの履歴を考慮して報酬と遷移を伝搬する価値反復スタイルの更新を採用する。
• 表形式MDP、連続的制御環境（例：CartPole）、アーケードゲーム（Atari）スイートに本アルゴリズムを適用し、スケーラビリティと頑健性を実証する。

実験結果

リサーチクエスチョン

• RQ1 元の状態空間における決定的非定常マルコフ方策は、遅延実行を伴うMDPで最適な性能を達成できるか？
• RQ2 遅延実行を扱うために状態拡張は本当に必要か？それとも、元の状態空間で直接最適方策を学習できるか？
• RQ3 状態拡張の指数的複雑性を回避しつつ、高い遅延下でも性能を維持できるモデルベースのQ学習アルゴリズムを設計できるか？
• RQ4 多様な環境において、提案手法は状態拡張法、無知な手法、RNNベースの方策と比較して、収束性および最終的な性能で優れているか？

主な発見

• Delayed-Qは、表形式、物理的、アーケードゲーム（Atari）の環境において、42回の実験のうち39回で状態拡張法および無知なQ学習手法を上回った。
• アーケードゲーム環境「Enduro」においてm=25の条件下で、Delayed-Qは33±2点を達成したが、Augmented-QとOblivious-Qはそれぞれ29±4点および0.5±0.2点にとどまった。
• 「MsPacman」においてm=5の条件下で、Delayed-Qは1354±86点を記録したが、Augmented-Q（1083±60点）およびOblivious-Q（1319±35点）を大きく上回った。
• 「Zaxxon」においてm=25の条件下で、Delayed-Qは1418±148点を達成したが、Oblivious-Q（605±66点）およびAugmented-Q（431±77点）を大きく上回った。
• 遅延に無知なRNNベースの方策は、無知なベースラインと同等の性能に留まり、遅延に意識的な設計が不可欠であることを裏付けた。
• Delayed-Qはm=25の高遅延下でも迅速かつ安定して収束したが、状態拡張法は状態空間の指数的増大により発散または失敗した。