[論文レビュー] Memory-based Deep Reinforcement Learning for POMDP.

Lingheng Meng, Rob Gorbet+1 more|arXiv (Cornell University)|Feb 24, 2021

Reinforcement Learning in Robotics参考文献 36被引用数 7

ひとこと要約

本論文では、部分的に観測可能なマルコフ意思決定過程（POMDP）を扱えるように、Twin Delayed Deep Deterministic Policy Gradient（TD3）に長短記憶（LSTM）ユニットを組み込んだメモリ拡張型の深層強化学習（DRL）アルゴリズム、LSTM-TD3を提案する。時間的依存性をモデル化するための順序記憶を活用することで、ノイズが多い・不完全な観測下でも性能が著しく向上し、MDPおよびPOMDPの両設定において、標準的なDRLアルゴリズムを上回る性能を発揮する。

ABSTRACT

A promising characteristic of Deep Reinforcement Learning (DRL) is its capability to learn optimal policy in an end-to-end manner without relying on feature engineering. However, most approaches assume a fully observable state space, i.e. fully observable Markov Decision Process (MDP). In real-world robotics, this assumption is unpractical, because of the sensor issues such as sensors' capacity limitation and sensor noise, and the lack of knowledge about if the observation design is complete or not. These scenarios lead to Partially Observable MDP (POMDP) and need special treatment. In this paper, we propose Long-Short-Term-Memory-based Twin Delayed Deep Deterministic Policy Gradient (LSTM-TD3) by introducing a memory component to TD3, and compare its performance with other DRL algorithms in both MDPs and POMDPs. Our results demonstrate the significant advantages of the memory component in addressing POMDPs, including the ability to handle missing and noisy observation data.

研究の動機と目的

• センサのノイズや容量制約のため、実世界のロボット工学では状態が完全に観測可能であると仮定する標準的なDRL手法の限界を是正すること。
• 観測が不完全または汚染されている部分的に観測可能なマルコフ意思決定過程（POMDP）において、効果的にポリシーを学習できるDRLアルゴリズムの開発。
• TD3アルゴリズムに記憶メカニズムを統合し、時間的依存性をモデル化し、部分観測下での意思決定を改善すること。
• MDP（完全観測）とPOMDP（部分観測）の両環境において、ベースラインDRLアルゴリズムと比較して、提案手法の耐障害性と性能を評価すること。

提案手法

• Twin Delayed Deep Deterministic Policy Gradient（TD3）アルゴリズムに長短記憶（LSTM）ユニットを追加し、順序観測における長期的依存性を捉える隠れ状態を維持する。
• LSTMセルを用いて観測系列を処理し、欠落またはノイズ混じりの観測を補完するための隠れ状態情報の推定を可能にする。
• 経験再生とターゲットネットワークの更新を用いて学習を安定化させながら、標準的なDRL損失関数を用いてLSTM-TD3エージェントをエンドツーエンドで訓練する。
• LSTMの隠れ状態をポリシーおよびQネットワークの入力に統合し、ネットワークが歴史的な観測系列に基づいて意思決定を条件づけられるようにする。
• MDPおよびPOMDPのベンチマークに本手法を適用し、部分観測下での汎用性と耐障害性を評価する。
• 環境間で同一のハイパーパrameterとトレーニング設定を用いることで、ベースラインDRLアルゴリズムとの公平な比較を確保する。

実験結果

リサーチクエスチョン

• RQ1 TD3にLSTM記憶コンponentを統合することで、標準的なDRLアルゴリズムと比較して、部分観測環境下での性能が向上するか？
• RQ2 LSTM-TD3はPOMDPにおけるノイズ混じりまたは不完全な観測をどのように処理するか？また、このような条件下でも安定した学習を維持できるか？
• RQ3 記憶拡張型アプローチはMDPおよびPOMDPの両環境において十分に汎用性を示すか？
• RQ4 ベースラインDRL手法と比較して、LSTM-TD3のサンプル効率および最終的なパフォーマンスはどの程度向上するか？

主な発見

• LSTM-TD3はPOMDP環境において顕著な性能向上を示し、時間的記憶モデルを用いて欠落・ノイズ混じりの観測を効果的に処理する。
• 記憶コンponentにより、観測が不完全または汚染されても一貫したポリシー性能を維持できる。
• MDPおよびPOMDPのベンチマークにおいて、標準TD3および他のベースラインDRLアルゴリズムを上回り、サンプル効率および最終リターンの両面で改善が確認された。
• 深層決定的ポリシー勾配手法に記憶を組み込むことで、センサ制限のある実世界のロボットシナリオにおける耐障害性が向上することが確認された。
• 部分観測下でも安定した学習ダイナミクスを維持し、性能の劣化を回避することができた。これは、標準的なDRLアプローチとは対照的である。