[論文レビュー] Value Propagation Networks

Nantas Nardelli, Gabriel Synnaeve+4 more|arXiv (Cornell University)|May 28, 2018

Reinforcement Learning in Robotics参考文献 31被引用数 8

ひとこと要約

Value Propagation Networks (VProp) は、強化学習を用いて訓練される微分可能でパラメータ効率の良い計画モジュールを、価値反復に基づいて導入し、静的および動的グリッドワールドにおけるナビゲーションタスクを解決する。この手法は、エキスパート軌道やカリキュラム学習を必要とせず、より大きなマップや複雑なダイナミクスに一般化する。確率的かつ高次元の観測設定下でも強力な性能を発揮する。

ABSTRACT

We present Value Propagation (VProp), a set of parameter-efficient differentiable planning modules built on Value Iteration which can successfully be trained using reinforcement learning to solve unseen tasks, has the capability to generalize to larger map sizes, and can learn to navigate in dynamic environments. We show that the modules enable learning to plan when the environment also includes stochastic elements, providing a cost-efficient learning system to build low-level size-invariant planners for a variety of interactive navigation problems. We evaluate on static and dynamic configurations of MazeBase grid-worlds, with randomly generated environments of several different sizes, and on a StarCraft navigation scenario, with more complex dynamics, and pixels as input.

研究の動機と目的

• エキスパート軌道を必要とせず、強化学習によって訓練可能な、パラメータ効率的で微分可能な計画モジュールの開発。
• トレーニング時に見られなかったより大きなマップサイズや長い計画ホライズンへの一般化の実現。
• 複雑な遷移関数を伴う動的で確率的かつ部分的に観測可能な環境への、価値反復に基づく計画の拡張。
• 高次元入力（例：ピクセル）を伴う環境において、エンドツーエンドの計画器の訓練を実現し、サンプル効率を維持すること。
• 敵対的エージェントやノイズの多い行動を伴う複雑なナビゲーションタスクにおける、強靭性とスケーラビリティの実証。

提案手法

• VProp および MVProp を、計画ステップをバックプロパゲーション可能に実装する深層ニューラルネットワークモジュールとして設計し、価値反復を微分可能に実装。
• 2次元畝込み層を用いてグリッドセル間で報酬と価値を伝搬させ、グリッドワールド環境における状態遷移と報酬をモデル化。
• 最適なプランナからの教師付き監視を回避するため、スパarsな報酬を用いて強化学習でエンドツーエンドに訓練。
• 価値伝搬プロセスをアンロールすることで、長時間スケールの計画を扱うために再帰的または反復的推論機構を統合。
• 特に VIN ベースラインの学習を加速させるために、トレーニング中に混合カリキュラム戦略を適用。
• VProp モジュールの前段に畝込み層とプーリング層を追加することで、ピクセル入力を処理するアーキテクチャへの拡張を実現し、ビジョンベースの計画を可能に。

実験結果

リサーチクエスチョン

• RQ1 エキスパートデモを必要とせず、価値反復に基づく微分可能な計画モジュールを強化学習で成功裏に訓練できるか？
• RQ2 このようなモジュールは、トレーニングデータに含まれなかったより大きな未確認のマップサイズやより長い計画ホライズンにどの程度一般化できるか？
• RQ3 スターフィートのような環境における敵対的エージェントや確率的遷移を伴う動的環境に対しても、この手法は対応可能か？
• RQ4 構造化された状態表現と比較して、高次元の観測（例：生のピクセル）下でのモデルの性能はいかがなっているか？
• RQ5 非マルコフ的ダイナミクスを伴う複雑で相互作用的な環境において、アーキテクチャはサンプル効率と計画精度を維持できるか？

主な発見

• VProp はエキスパート軌道を必要とせず、動的グリッドワールドにおける計画を学習し、32x32マップへの一般化において VIN ベースラインを上回る性能を発揮。
• MVProp は 8x8 マップでのみトレーニングされたとしても、32x32 マップなどのより大きなマップに強くゼロショット一般化を実現し、未確認のマップサイズへの一般化能力を示した。
• 確率的アクションや動的障害物を伴う環境に対しても、モデルは各ステップで再計画を行い、複雑なシナリオでも成功裏にナビゲートを実現。
• スターフィートナビゲーションタスクでは、VProp は敵ユニットの自動攻撃行動を避けながら計画を学習し、スパース報酬下でも未確認のシナリオで高い成功率を達成。
• ピクセル入力に適用した場合、畝込み層を追加した VProp アーキテクチャは、状態ベースバージョンと同等の性能を発揮し、高次元観測に対する頑健性を示した。
• VIN と比較して、VProp は優れたサンプル効率と、特に非定常的かつ敵対的環境における複雑な遷移関数のモデリングを実現した。