[論文レビュー] QMDP-Net: Deep Learning for Planning under Partial Observability

Péter Karkus, David Hsu+1 more|arXiv (Cornell University)|Mar 20, 2017

Adversarial Robustness in Machine Learning参考文献 28被引用数 27

ひとこと要約

QMDP-Net は、部分的に観測可能な状況下での意思決定のためのエンドツーエンド学習を可能にする、微分可能で再帰的なニューラルネットワークである。POMDP モデルと QMDP プランニング手法を統合しており、熟練者のデモンストレーションからより効果的でタスク固有のモデルを学習することで、標準的な QMDP アルゴリズムを凌駆し、大きな環境への一般化と転送性能を実現する。

ABSTRACT

This paper introduces the QMDP-net, a neural network architecture for planning under partial observability. The QMDP-net combines the strengths of model-free learning and model-based planning. It is a recurrent policy network, but it represents a policy for a parameterized set of tasks by connecting a model with a planning algorithm that solves the model, thus embedding the solution structure of planning in a network learning architecture. The QMDP-net is fully differentiable and allows for end-to-end training. We train a QMDP-net on different tasks so that it can generalize to new ones in the parameterized task set and "transfer" to other similar tasks beyond the set. In preliminary experiments, QMDP-net showed strong performance on several robotic tasks in simulation. Interestingly, while QMDP-net encodes the QMDP algorithm, it sometimes outperforms the QMDP algorithm in the experiments, as a result of end-to-end learning.

研究の動機と目的

• ロボット工学や順序的意思決定タスクにおける部分的観測下での計画の課題に取り組む。
• モデルフリーのディープラーニングとモデルベースの計画の長所を組み合わせ、ポリシーの一般化と転送性能を向上させる。
• POMDP の構造的インダクティブバイアスと QMDP プランニングを組み込んだポリシーネットワークのエンドツーエンド学習を可能にする。
• 模倣学習を通じて「誤りではあるが有用な」POMDP モデルを学習することで、元の QMDP アルゴリズムを上回る可能性があるかどうかを調査する。

提案手法

• QMDP-Net は、アクションと観測履歴を統合する微分可能なベイジアンフィルタを用いて、信念状態を維持する再帰的ポリシーネットワークである。
• ネットワークは、現在の信念に基づいて行動を選択するための QMDP アルゴリズムの微分可能実装を用いており、計画構造をアーキテクチャそのものに埋め込んでいる。
• モデルは、共有されたパラメータ化された構造を持つランダムに生成された POMDP 環境からの熟練者デモンストレーションを用いてエンドツーエンドで訓練される。
• ネットワークの信念更新モジュールと行動選択モジュールは完全に微分可能であり、フィルタリングおよび計画コンponentの両方に対してバックプロパゲーションが可能である。
• 再訓練なしに再帰的計画モジュールを拡張することで（例：再帰層の数を増加することで）、より大きな環境への転送が実現される。
• アーキテクチャは、真のモデルとは異なるが、タスク固有の効率的でコンパクトな POMDP モデルを学習可能であり、エンドツーエンド最適化によって性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 QMDP-Net は、パラメータ化されたタスクセットからの新しい未観測 POMDP 環境に一般化できるか？
• RQ2 エンドツーエンド訓練された QMDP-net は、熟練者のデータが QMDP によって生成された場合でも、標準的な QMDP アルゴリズムを上回る性能を示すか？
• RQ3 小さな環境で学習したポリシーは、LIDAR マップを用いた建物のような大規模な実世界環境に成功裏に転送できるか？
• RQ4 ネットワークは、QMDP 近似の限界を補うために、「誤りではあるが有用な」POMDP モデルをどの程度学習できるか？

主な発見

• QMDP-net は、特に挑戦的な Hallway2 ドメインを含むほぼすべてのテストタスクで、より効果的なモデルをエンドツーエンドで学習したことで、標準的な QMDP アルゴリズムを上回った。
• K=90 の条件下で、Hallway2 ドメインにおける成功確率は 82.1% に達し、QMDP の 68.0% を上回った。
• 30×30 グリッドワールドで学習したポリシーは、Intel Lab（100×101）および Freiburg（139×57）といった大規模な実世界環境に成功裏に転送され、それぞれ 90.2% および 88.4% の成功率を達成した。
• 成功と失敗の両方の QMDP デモンストレーションで学習した場合、QMDP-net は QMDP を上回らなかった。これは、性能向上が高品質な熟練者データからの学習に起因することを確認した。
• ネットワークは、効率的な計画と一般化を可能にするコンパクトで抽象化された状態表現を学習した。これは次元の呪いの緩和に潜在的な可能性を示している。
• 結果から、エンドツーエンド訓練により、QMDP の短い計画ホライズンの欠陥を補うモデルをネットワークが学習でき、暗黙の報酬形状（implicit reward shaping）を実現していることが示された。