[論文レビュー] Discriminative Particle Filter Reinforcement Learning for Complex Partial Observations

Xiao Ma, Péter Karkus+3 more|arXiv (Cornell University)|Feb 23, 2020

Reinforcement Learning in Robotics参考文献 43被引用数 23

ひとこと要約

本稿では、部分的観測の下での意思決定を可能にする新規なPOMDP強化学習フレームワーク、判別的パーティクルフィルタ強化学習（DPFRL）を提案する。DPFRLは、判別的更新関数を用いた微分可能パーティクルフィルタを用い、無関係な視覚的特徴をモデル化する必要がなく、潜在状態の信念を明示的に追跡する。Flickering Atari Gamesと、より複雑な新規ベンチマークであるNatural Flickering Atari Gamesにおいて、最先端の性能を達成するとともに、Habitatデータを用いた現実世界の視覚的ナビゲーションタスクにおいても優れた性能を示す。

ABSTRACT

Deep reinforcement learning is successful in decision making for sophisticated games, such as Atari, Go, etc. However, real-world decision making often requires reasoning with partial information extracted from complex visual observations. This paper presents Discriminative Particle Filter Reinforcement Learning (DPFRL), a new reinforcement learning framework for complex partial observations. DPFRL encodes a differentiable particle filter in the neural network policy for explicit reasoning with partial observations over time. The particle filter maintains a belief using learned discriminative update, which is trained end-to-end for decision making. We show that using the discriminative update instead of standard generative models results in significantly improved performance, especially for tasks with complex visual observations, because they circumvent the difficulty of modeling complex observations that are irrelevant to decision making. In addition, to extract features from the particle belief, we propose a new type of belief feature based on the moment generating function. DPFRL outperforms state-of-the-art POMDP RL models in Flickering Atari Games, an existing POMDP RL benchmark, and in Natural Flickering Atari Games, a new, more challenging POMDP RL benchmark introduced in this paper. Further, DPFRL performs well for visual navigation with real-world data in the Habitat environment.

研究の動機と目的

• 複雑な視覚的観測を持つ環境における部分的観測下での意思決定の課題に対処すること。
• パーティクルフィルタにおける生成的観測モデルの限界を克服すること。生成的モデルは、無関係な特徴までもモデル化する必要があり、サンプルの複雑さが増加する。
• タスクに必要な特徴のみに焦点を当て、より高いサンプル効率を実現するため、微分可能でエンド・トゥ・エンドで学習可能な信念追跡機構を開発すること。
• 置換不変で計算的に効率的なMOMENT-GENERATING FUNCTION（MGF）特徴を用いた新しい信念表現を提案すること。
• 合成ベンチマーク（Flickering Atari Games）およびより現実的である新規ベンチマーク（Natural Flickering Atari Games）における優れた性能を実証すること。

提案手法

• 信念を重み付きの潜在的パーティクルの集合として表現する、微分可能なパーティクルフィルタをニューラルネットワークポリシーに統合する。
• 生成的観測モデルの代わりに、ニューラルネットワークで学習された判別的適合度関数（重要度重みとして使用）を用い、タスクに必要な特徴にのみ焦点を当てる。
• 観測に依存する遷移モデルを用いてパーティクル状態を更新し、ポリシーとエンド・トゥ・エンドで同時に学習する。
• パーティクル信念を要約するMGFベースの特徴を提案し、置換不変かつ微分可能で、高次モーメントを捉える。
• 標準的な強化学習損失を用いて、別個の事前学習や補助目的を一切用いずに、システム全体をエンド・トゥ・エンドで学習する。
• 非パラメトリックなベイズフィルタ（重要度重み付きパーティクルフィルタ）を用いて、時間経過に伴う信念の維持と更新を実現し、部分的観測に対する明示的な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンド・トゥ・エンドで学習可能な判別的パーティクルフィルタは、複雑な部分的観測下で、標準的な生成的モデルを上回る性能を示せるか？
• RQ2 MGFベースの特徴を信念表現に用いることで、平均集約やRNNベースの要約と比較して、ポリシー学習が向上するか？
• RQ3 現実的な視覚的ノイズと複雑な観測を持つ、より挑戦的な新規ベンチマークにおいて、DPFRLは先行する最先端手法を上回る性能を示すか？
• RQ4 各コンポonent（判別的更新、MGF特徴、パーティクル数）が、複雑な視覚タスクにおける全体の性能に与える寄与度は何か？
• RQ5 DPFRLは、Habitat環境における実際のセンサデータを用いた現実世界の視覚的ナビゲーションタスクに一般化可能か？

主な発見

• DPFRLは、Flickering Atari Gamesベンチマークにおいて、すべてのゲームで最先端のPOMDP強化学習モデルを大きく上回り、平均報酬が著しく高い。
• 新たに導入されたNatural Flickering Atari Gamesベンチマークでは、DPFRLが最先端の性能を達成し、Pongでは15.65 ± 1.99の報酬を記録。これは、最良のベースラインをも上回っている。
• アブレーションスタディの結果、生成的観測モデルを用いたDPFRL-generativeは、DPFRLに比べて著しく性能が低いことが判明。特にPongでは-20.21 vs. 15.65と顕著な差が示された。これにより、判別的学習の優位性が確認された。
• 1つのパーティクル（DPFRL-P1）を用いた場合、性能が著しく劣り、複雑な信念分布を効果的に表現するには複数のパーティクルが必要であることが示された。
• MGFベースの特徴は、平均集約（DPFRL-mean）やRNNベースの要約（DPFRL-GRUmerge）を上回り、Pong や Centipede など信念表現が豊富なタスクにおいて顕著な優位性を示した。
• Habitat視覚的ナビゲーションタスクにおいて、DPFRLは実世界データへの優れた一般化を示し、実際のセンサノイズや視覚的複雑さに対しても頑健であることが確認された。