[論文レビュー] Sparse Graphical Memory for Robust Planning

Scott Emmons, Ajay N. Jain+4 more|arXiv (Cornell University)|Mar 13, 2020

Human Pose and Action Recognition被引用数 9

ひとこと要約

本論文は、二重整合性目的関数を通じて一貫性のある、目的に応じた状態抽象化を学習することにより、ロバストな長時間スケールの視覚的計画を可能にする、新しいデータ構造であるスパースグラフィカルメモリ（SGM）を提案する。SGMは、目的と開始状態の両方の役割において重複する状態を統合し、計画の効率性を向上させ、スパース報酬の視覚的ナビゲーションタスクで最先端の性能を達成する。

ABSTRACT

To operate effectively in the real world, agents should be able to act from high-dimensional raw sensory input such as images and achieve diverse goals across long time-horizons. Current deep reinforcement and imitation learning methods can learn directly from high-dimensional inputs but do not scale well to long-horizon tasks. In contrast, classical graphical methods like A* search are able to solve long-horizon tasks, but assume that the state space is abstracted away from raw sensory input. Recent works have attempted to combine the strengths of deep learning and classical planning; however, dominant methods in this domain are still quite brittle and scale poorly with the size of the environment. We introduce Sparse Graphical Memory (SGM), a new data structure that stores states and feasible transitions in a sparse memory. SGM aggregates states according to a novel two-way consistency objective, adapting classic state aggregation criteria to goal-conditioned RL: two states are redundant when they are interchangeable both as goals and as starting states. Theoretically, we prove that merging nodes according to two-way consistency leads to an increase in shortest path lengths that scales only linearly with the merging threshold. Experimentally, we show that SGM significantly outperforms current state of the art methods on long horizon, sparse-reward visual navigation tasks. Project video and code are available at this https URL

研究の動機と目的

• 深層学習と古典的計画法を組み合わせることで、長時間スケールの視覚的強化学習におけるスケーラビリティとロバスト性のギャップを解消すること。
• 高次元の生のセンサ入力（画像など）から、長時間スケールにわたって効果的に計画を実行できるようにすること。
• 深層学習と古典的計画法を組み合わせた従来の手法が示す脆さとスケーリングの悪さを克服すること。
• 目的に応じた強化学習の文脈において、目的としても出発点としても一貫性を持つ状態抽象化メカニズムを開発すること。
• 現在の最先端手法と比較して、スパース報酬、長時間スケールの視覚的ナビゲーションタスクで優れた性能を達成すること。

提案手法

• SGMは、状態と実行可能な遷移をグラフ形式で格納するスパースメモリ構造を導入する。
• 二重整合性目的関数を用いて、目的としても出発点としても入れ替え可能な状態（重複状態）を特定・統合する。
• 古典的状態集約基準を、目的に応じた強化学習の文脈に適応する。
• ノードの統合が二重整合性に基づく場合、最短経路長が統合閾値に比例して線形に増加することを理論的に証明する。
• 生の視覚入力から得られる一貫性のある抽象化状態表現を用いて、効率的なグラフベースの計画を可能にするフレームワークを提供する。
• 生の観測を処理し、コン act な計画可能な状態グラフを構築するため、深層学習モデルと統合する。

実験結果

リサーチクエスチョン

• RQ1 古典的計画法の原則を用いて、生の視覚入力からロバストな長時間スケール計画を可能にするデータ構造を設計できるか？
• RQ2 目的に応じた強化学習において、状態抽象化を目的としても出発点としても一貫性を持たせるにはどうすればよいか？
• RQ3 二重整合性に基づく状態統合が、計画経路長と最適性に与える理論的影響は何か？
• RQ4 このような手法は、従来の最先端手法と比較して、長時間スケールでスパース報酬の視覚的ナビゲーションタスクで優れた性能を発揮できるか？
• RQ5 環境のサイズと複雑さの増加に伴って、この手法はどのようにスケーリングするか？

主な発見

• SGMは、長時間スケールでスパース報酬の視覚的ナビゲーションタスクにおいて、現在の最先端手法を顕著に上回る性能を発揮する。
• 二重整合性目的関数は、状態の冗長性を効果的に低減しつつ、計画の実行可能性と経路品質を維持する。
• 理論的分析により、経路長が統合閾値に比例して線形に増加することが示され、スケーラビリティが保証される。
• 本手法は、生の視覚入力からの効果的な計画を可能にし、深層学習と古典的計画法のギャップを埋める。
• 本フレームワークは、巨大な状態空間とスパース報酬を有する環境でも、ロバスト性とスケーラビリティを示す。
• プロジェクトのコードと動画は公開されており、再現性とさらなる研究を支援する。