[論文レビュー] Real-Time Reinforcement Learning

Simon Ramstedt, Christopher Pal|PolyPublie (École Polytechnique de Montréal)|Sep 1, 2019

Reinforcement Learning in Robotics被引用数 15

ひとこと要約

この論文は、意思決定中の状態と行動の同時進化をモデル化する新しいフレームワーク、リアルタイム強化学習（RTRL）を紹介する。これは、古典的マルコフ決定過程（MDP）とリアルタイム環境との間の不一致を解決するものである。本研究では、状態-行動ペアに基づく方策とRTMDP定式化における改善されたオフポリシー学習を活用することで、リアルタイムおよび非リアルタイム設定の両方でSACを上回る性能を示す、リアルタイムアクタクリティック（RTAC）アルゴリズムを提案する。

ABSTRACT

Les processus de décision markovien (MDP), le cadre mathématiques sous-jacent à la plupart des algorithmes de l'apprentissage par renforcement (RL) est souvent utilisé d'une manière qui suppose, à tort, que l'état de l'environnement d'un agent ne change pas pendant la sélection des actions. Puisque les systèmes RL basés sur les MDP classiques commencent à être appliqués dans les situations critiques pour la sécurité du monde réel, ce décalage entre les hypothèses sous-jacentes aux MDP classiques et la réalité du calcul en temps réel peut entraîner des résultats indésirables. Dans cette thèse, nous introduirons un nouveau cadre dans lequel les états et les actions évoluent simultanément, nous montrerons comment il est lié à la formulation MDP classique. Nous analyserons des algorithmes existants selon la nouvelle formulation en temps réel et montrerons pourquoi ils sont inférieurs, lorsqu'ils sont utilisés en temps réel. Par la suite, nous utiliserons ces perspectives pour créer un nouveau algorithme Real-Time Actor Critic qui est supérieur au Soft Actor Critic contrôle continu de l'état de l'art actuel, aussi bien en temps réel qu'en temps non réel.

研究の動機と目的

• 古典的MDPが行動選択中に一時停止すると仮定しているのに対し、現実世界のリアルタイム環境では状態が意思決定中に連続的に進化することを踏まえ、その根本的な不一致を解消すること。
• 状態と行動の進行が同時に起こることを捉える新しい意思決定フレームワーク、リアルタイムマルコフ決定過程（RTMDP）を形式化すること。
• SACのような既存のオフポリシー手法が、遷移ダイナミクスと報酬伝搬における構造的不一致のため、リアルタイム設定で劣化する理由を分析すること。
• RTMDPフレームワークにネイティブに最適化された新しいアルゴリズム、リアルタイムアクタクリティック（RTAC）を設計・評価し、最先端手法を上回ること。
• RTMDP定式化の構造を活用することで、オフポリシー学習の効率を高め、リアルタイムおよび非リアルタイム環境の両方で優れた性能を達成できることを示すこと。

提案手法

• システム状態を状態-行動ペア (s_t, a_t) として定義する新しいフレームワーク、リアルタイムマルコフ決定過程（RTMDP）を提案。時間ステップ間で状態と行動が同期的に進化する。
• 状態-行動ペアから行動への写像 π̃ を導入し、現在の状態-行動構成に基づいて将来の行動を推論できるようにする。
• 報酬の遅延伝播を考慮した修正された行動価値関数 q_RTMDP^π̃(s_t, a_t, a_t+1) を導出。2段階の依存関係（a_t が a_t+1 に影響し、それが報酬と次状態に影響）に起因する。
• オフポリシー学習を適応させ、状態価値関数 v_RTMDP^π̃(s_t, a_t) が、選択された行動 a_t に関係なく、常に有効な遷移 s_t, a_t, s_t+1 を持つため、直接的にオフポリシー学習に利用可能であることを示す。
• Soft Actor-Critic（SAC）フレームワークに基づくが、RTMDP定式化に再設計されたリアルタイムアクタクリティック（RTAC）アルゴリズムを開発。より高いデータ効率と学習安定性を実現。
• 既知のダイナミクスを用いて合成経験を生成する部分シミュレーション技術を採用し、オフポリシー学習におけるデータ効率を向上。

実験結果

リサーチクエスチョン

• RQ1 SACのような標準的なオフポリシーRLアルゴリズムは、ターンベース設定では成功を収めているが、なぜリアルタイム環境では性能を発揮できないのか？
• RQ2 古典的MDPとリアルタイムダイナミクスの間の構造的不一致が、学習プロセスとデータ効率にどのように影響するのか？
• RQ3 状態と行動の同時進化をモデル化する新しいRLフレームワークは、リアルタイム制御におけるより効果的で安定したオフポリシー学習を可能にするか？
• RQ4 RTMDP定式化は、SACのような既存のアルゴリズムと比較して、リアルタイムおよび非リアルタイム環境の両方でどの程度性能を向上させられるか？
• RQ5 RTMDPフレームワークの構造を最大限に活用するためには、アクタクリティックアーキテクチャにどのような変更が必要か？

主な発見

• RTACは、リアルタイムおよび非リアルタイム環境の両方で、Soft Actor-Critic（SAC）を上回る性能を示し、連続制御ベンチマークの複数のタスクで一貫した向上を達成した。
• RTMDPにおける行動価値関数は、報酬伝搬の遅延に起因し、2ステップ更新が必要となる。これにより、標準的なオフポリシー手法を直接適用すると最適でなくなる。
• RTMDPにおける状態価値関数は、ダイナミクスの完全な知識がなくてもオフポリシー学習に直接利用可能であり、より安定的かつ効率的な学習を可能にする。
• RTMDPフレームワークにより、遷移の部分的シミュレーションが可能となり、合成経験の生成が可能で、データ効率とデータ再利用性が向上する。
• 実験的結果から、RTACは特に行動選択時間が制限されるリアルタイム設定において、SACよりも高い累積報酬とより速い収束を達成していることが示された。
• 提案されたRTACアルゴリズムは、単にアルゴリズムを変更するのではなく、意思決定の基盤フレームワーク自体を再考することで、リアルタイムRLにおける顕著な性能向上が達成可能であることを示している。