[論文レビュー] Modular Deep Reinforcement Learning with Temporal Logic Specifications

Lim Zun Yuan, Mohammadhosein Hasanbeig+2 more|arXiv (Cornell University)|Sep 23, 2019

Reinforcement Learning in Robotics参考文献 29被引用数 23

ひとこと要約

本論文は、スパース報酬と複雑な時間的構造を有する連続状態および連続行動マルコフ決定過程（MDP）に対して、モジュラーでエージェント・クリティック型、モデルフリーの深層強化学習フレームワークを提案する。高レベルのミッション目標を線形時相論理（LTL）で指定し、有限状態オートマトンと即時的に積を構築し、モジュラーな深層決定的方策勾配（DDPG）を用いて部分方策を学習する。マーズ探査車の経路計画タスクでは98.8%の成功率を達成し、より複雑なクレーター走破シナリオでは100%の成功率を達成した。

ABSTRACT

We propose an actor-critic, model-free, and online Reinforcement Learning (RL) framework for continuous-state continuous-action Markov Decision Processes (MDPs) when the reward is highly sparse but encompasses a high-level temporal structure. We represent this temporal structure by a finite-state machine and construct an on-the-fly synchronised product with the MDP and the finite machine. The temporal structure acts as a guide for the RL agent within the product, where a modular Deep Deterministic Policy Gradient (DDPG) architecture is proposed to generate a low-level control policy. We evaluate our framework in a Mars rover experiment and we present the success rate of the synthesised policy.

研究の動機と目的

• 高スパース報酬と複雑な時間的依存性を有する連続状態および連続行動MDPにおける最適方策の学習という課題に対処すること。
• 中間の監視や事前定義されたオプションが不要な、ワンショットで自己学習可能な階層的方策の学習を可能にすること。
• 形式的時間論理仕様（LTL）を深層強化学習における探索と方策学習の内在的ガイドとして統合すること。
• 離散MDPや従来のモデルフリー強化学習手法が連続空間における時間論理制約を扱う際の限界を克服すること。
• マーズ探査車の経路計画のような、順序付けられた制約と安全上の制約を有する現実世界に近いロボットナビゲーションタスクにおけるフレームワークの有効性を示すこと。

提案手法

• フレームワークは、時間的構造、安全性、進行性の性質を含む高レベルのミッションタスクを、線形時相論理（LTL）を用いて形式的に指定する。
• LTL式は、タスクの時間的構造を有限状態機械として表現する Büchi オートマトンに変換される。
• MDPとオートマトンの間で即時的な同期的積（on-the-fly synchronous product）が構築され、明示的な積の構築なしにリアルタイムでの状態追跡が可能になる。
• オートマトンの構造に基づいて報酬関数が自動的に形状付けられ、LTL性質を満たす方向にエージェントを誘導する。
• 各モジュールがLTL分解から得られる部分タスクに対応する、モジュラーな深層決定的方策勾配（DDPG）アーキテクチャが採用される。
• エージェントとクリティックのフレームワークが、連続状態および行動空間におけるLTL固有の部分方策を共同で最適化し、人為的な中間報酬が不要なエンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スパースな密集報酬しか与えられない連続状態および連続行動MDPにおいて、深層強化学習エージェントは複雑で時間的構造を持つタスクを学習できるか？
• RQ2 形式的時間論理（LTL）を、監視なしにモデルフリーでオンラインな強化学習フレームワークに効果的に統合し、探索と方策学習をガイドできるか？
• RQ3 提案されたモジュラーDDPGフレームワークは、LTL仕様を学習可能な部分方策に自動的に分解しつつ、グローバルタスクの満足度を維持できるか？
• RQ4 マーズ探査車の経路計画のような、順序付けられた制約と安全上の制約を有する現実世界のロボットナビゲーションタスクにおいて、このフレームワークのパフォーマンスはいかがなものか？
• RQ5 極めてスパースな報酬を持つタスクにおいて、標準的なDDPGと比較して、このフレームワークの成功確率とサンプル効率はどのように異なるか？

主な発見

• Melas Chasmaのマーズ探査車実験では、200回のテスト走破において98.8%の成功率を達成した。標準的なDDPGは21.4%にとどまり、著しく上回った。
• より複雑なバーバラ・クレーター任務では、200回の走破で100%の成功率を達成し、複雑な順序付けられた制約と安全上の制約を効果的に処理できる能力を示した。
• LTLオートマトンから導出される負の報酬信号を活用することで、危険な領域（例：クレーター縁）を避ける学習に成功した。標準的なDDPGは、このようなガイドなしでは同様の学習に失敗した。
• モジュラーDDPGアーキテクチャにより、LTLタスクが段階的な部分タスクに自動分解され、エージェントが順番にチェックポイントを通過する能力が得られた。
• 即時的積構築により、全積空間を事前に計算する計算負荷なしに、効率的な状態追跡と報酬形状付けが可能になった。
• フレームワークは、より簡単な部分タスクでの事前学習や人為的な中間報酬が不要な、ワンショットで自己学習可能な複雑な方策の学習を実現した。