[論文レビュー] Memory-based Deep Reinforcement Learning for POMDPs

Lingheng Meng, Rob Gorbet+1 more|arXiv (Cornell University)|Feb 24, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

この論文は、部分的に観測可能なマルコフ意思決定過程（POMDP）に対処するために、長短記憶（LSTM）ネットワークを二重遅延深層決定的方策勾配（TD3）フレームワークに統合した、記憶拡張型深層強化学習（DRL）アルゴリズム、LSTM-TD3を提案する。過去の観測値と行動を再帰的記憶に統合することで、ノイズが多いまたは不完全な観測を持つPOMDPにおいて、性能が顕著に向上する一方で、完全に観測可能なMDPにおいても最先端の性能を維持する。

ABSTRACT

A promising characteristic of Deep Reinforcement Learning (DRL) is its capability to learn optimal policy in an end-to-end manner without relying on feature engineering. However, most approaches assume a fully observable state space, i.e. fully observable Markov Decision Processes (MDPs). In real-world robotics, this assumption is unpractical, because of issues such as sensor sensitivity limitations and sensor noise, and the lack of knowledge about whether the observation design is complete or not. These scenarios lead to Partially Observable MDPs (POMDPs). In this paper, we propose Long-Short-Term-Memory-based Twin Delayed Deep Deterministic Policy Gradient (LSTM-TD3) by introducing a memory component to TD3, and compare its performance with other DRL algorithms in both MDPs and POMDPs. Our results demonstrate the significant advantages of the memory component in addressing POMDPs, including the ability to handle missing and noisy observation data.

研究の動機と目的

• センサのノイズや制限されたセンシングによって状態情報が不完全になる部分的観測環境において、標準的な深層強化学習（DRL）アルゴリズムの限界を克服すること。
• 観測値と行動履歴から隠れた状態を推定できる記憶拡張型DRL手法を開発し、POMDPにおける方策学習を改善すること。
• 連続制御タスクのMDPおよびPOMDPバージョンにおいて、記憶コンponents（特にLSTMベースの記憶）の有効性を評価すること。
• 学習の安定化と性能向上に寄与する主要なアーキテクチャ的要素（現在の特徴抽出、過去の行動の組み込み、記憶圧縮）の寄与度を調査すること。
• 真の状態が完全に観測されない状況において、観測空間の設計に関する洞察を提供すること。具体的には、記憶を通じて観測されない状態ダイナミクスを推定可能にする。

提案手法

• TD3アルゴリズムに長短記憶（LSTM）ネットワークを統合し、履歴的な観測値と行動をエンコードする隠れ状態を維持することで、部分的観測環境における時間的依存性をモデル化できるようにする。
• 再帰的アーキテクチャのアクター・クリティックフレームワークを採用し、LSTMが過去の観測値と行動のシーケンスを処理し、隠れ状態をアクターおよびクリティックネットワークの条件付けに使用する。
• 記憶表現からの干渉を軽減し、特にMDP設定において学習安定性を向上させるために、現在の観測特徴抽出（CFE）と記憶表現を分離する。
• TD3からの記憶圧縮（DC）とターゲット方策スムージング（TPS）を適用し、訓練の安定化とQ値推定における過大評価バイアスの緩和を図る。
• 現在の観測値と行動を独立して処理し、その後LSTMの隠れ状態と連結することで、方策および価値予測に使用するハイブリッドアーキテクチャを採用する。
• 各実験において履歴長 $ l $ をハイパーパrameterとして固定するが、将来的には効率性と性能向上のための動的適応を検討すべきである。

実験結果

リサーチクエスチョン

• RQ1 TD3にLSTM記憶コンponentを統合することで、標準的なDRLアルゴリズムと比較して、POMDPにおける性能がどのように向上するか？
• RQ2 現在の特徴抽出、過去の行動の組み込み、記憶圧縮の相対的寄与度は、LSTM-TD3フレームワーク全体の性能にどのように影響するか？
• RQ3 観測が劣化したPOMDPにおいて顕著に優れた性能を示す一方で、MDPにおいても強力な性能を維持できるか？
• RQ4 真の状態が観測によって完全に捉えられていない状況において、観測空間設計の不確実性に対してLSTM-TD3はどれほど頑健か？
• RQ5 行動履歴が有用な状態情報を持つタスクにおいて、記憶に過去の行動を含めることで、状態推定の精度がどの程度向上するか？

主な発見

• LSTM-TD3は、ノイズが多いまたは不完全な観測条件下でも、DDPG、TD3、および他のベースラインと比較して、POMDPバージョンの連続制御タスクで顕著に優れた性能を達成する。
• アブレーションスタディの結果、すべてのコンponent（現在の特徴抽出（CFE）、記憶圧縮（DC）、ターゲット方策スムージング（TPS）、過去の行動の組み込み（PA））が最適性能を達成するために不可欠であることが確認された。
• MDPバージョンのタスクにおいても、LSTM-TD3はDDPGを上回る性能を示しており、記憶コンponentが完全に観測可能な設定でも性能を低下させないことが示された。
• 現在の特徴抽出（Full - CFE）を除外すると、特にMDPにおいて顕著な性能低下が生じ、CFEが観測空間が適切に設計された状況で性能を維持するために極めて重要であることが示された。
• 記憶から過去の行動（Full - PA）を除外した場合、InvertedDoublePendulumPyBulletEnv-v0のようなPOMDP-RVバージョンで顕著な性能低下が見られ、過去の行動が有用な状態情報を含んでいることが示された。
• LSTM-TD3は、観測設計の不確実性に対しても頑健であるため、観測空間の完全性がしばしば不明な実世界のロボット工学に適している。