[論文レビュー] Learning Belief Representations for Imitation Learning in POMDPs

Tanmay Gangwani, Joel Lehman+2 more|arXiv (Cornell University)|Jun 22, 2019

Reinforcement Learning in Robotics参考文献 42被引用数 13

ひとこと要約

本稿では、部分的に観測可能な環境（POMDP）における強化学習の模倣学習を改善するためのBelief-Module Imitation Learning（BMIL）を提案する。この手法は、タスクに適した模倣損失を用いて、信念表現と方策を同時に学習する共同学習フレームワークであり、MuJoCoにおける連続的制御走行タスクにおいて、分離学習およびタスクに無関係なベースラインと比較して顕著な性能向上を達成している。

ABSTRACT

We consider the problem of imitation learning from expert demonstrations in partially observable Markov decision processes (POMDPs). Belief representations, which characterize the distribution over the latent states in a POMDP, have been modeled using recurrent neural networks and probabilistic latent variable models, and shown to be effective for reinforcement learning in POMDPs. In this work, we investigate the belief representation learning problem for generative adversarial imitation learning in POMDPs. Instead of training the belief module and the policy separately as suggested in prior work, we learn the belief module jointly with the policy, using a task-aware imitation loss to ensure that the representation is more aligned with the policy's objective. To improve robustness of representation, we introduce several informative belief regularization techniques, including multi-step prediction of dynamics and action-sequences. Evaluated on various partially observable continuous-control locomotion tasks, our belief-module imitation learning approach (BMIL) substantially outperforms several baselines, including the original GAIL algorithm and the task-agnostic belief learning algorithm. Extensive ablation analysis indicates the effectiveness of task-aware belief learning and belief regularization.

研究の動機と目的

• 完全な状態情報が入手できない部分的観測環境における模倣学習の課題に取り組む。
• 信念モジュールと方策を別々に学習する従来手法の限界を克服し、表現の不整合を解消する。
• 方策の目的関数と共同最適化することで、信念表現のロバスト性とタスク関連性を向上させる。
• 信念の退化を防ぎ、信念学習における時間的抽象化を強化する正則化技術を開発する。

提案手法

• 敵対的模倣学習フレームワークにおいて、信念モジュール、方策、識別器をミニマックス目的で同時に学習する。
• 信念表現を方策の目的に合わせて正規化するタスクに適した模倣損失を導入し、方策性能の向上を図る。
• マルチステップ予測正則化を適用：複数の時間スケール（k=1,5,10）で将来および過去の観測と行動系列を予測する。
• 前方動力学（次回の観測を予測）、逆動力学（観測遷移から行動を予測）、行動系列モデリングの補助損失を用いる。
• 時間に沿ったバックプロパゲーションを用いて、信念モジュールを方策および識別器とともにエンドツーエンドで学習する。
• 履歴を符号化し、時間的依存性を維持するため、信念モジュールに再帰的アーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 信念と方策ネットワークを共同で学習することで、分離学習に比べてPOMDPにおける模倣性能が向上するか？
• RQ2 信念表現学習にタスクに適した監視を組み込むことで、タスクに無関係な事前学習に比べて方策性能が向上するか？
• RQ3 観測および行動のマルチステップ予測損失は、信念表現のロバスト性と表現力の向上にどの程度効果的か？
• RQ4 前方動力学、逆動力学、行動予測損失の各成分が、信念表現学習全体の性能に果たす個別の貢献度は何か？
• RQ5 提案フレームワークは、MuJoCoにおける多様な部分的観測連続制御タスクに一般化可能か？

主な発見

• BMILは、評価されたすべてのMuJoCo走行タスクにおいて、元のGAILアルゴリズムおよびタスクに無関係な信念学習ベースラインを顕著に上回る性能を発揮した。
• タスクに適した模倣損失は、WalkerやHopperなど、タスクに無関係な手法が性能を発揮できない環境でも一貫した性能向上をもたらした。
• 前方動力学、逆動力学、行動予測の各正則化成分は、正則化なしのベースラインに比べて性能向上をもたらした。特に、完全なBMILモデルが最良のサンプル効率と最終報酬を達成した。
• マルチステップ予測（k=5およびk=10）は、単一ステップ予測に比べて学習速度と最終性能が向上しており、時間的抽象化が表現品質を向上させることを示している。
• アブレーションスタディの結果、すべての正則化項を組み合わせることで最良の性能が得られ、BMILはAntおよびWalkerタスクで最高の平均エピソード報酬を達成した。
• 予測を生の観測空間ではなく、符号化された潜在空間ですることで性能が安定したため、表現選択に対して頑健であることが示された。