[論文レビュー] Gated Path Planning Networks

Lisa Lee, Emilio Parisotto+3 more|arXiv (Cornell University)|Jun 17, 2018

Robotic Path Planning Algorithms参考文献 14被引用数 6

ひとこと要約

この論文では、値反復ネットワーク（VINs）における非標準的な再帰的更新を標準的なLSTMベースのゲーテッド再帰ユニットに置き換えることで、微分可能なパスプランニングモジュールであるゲーテッドパスプランニングネットワーク（GPPNs）を提案する。VINを畳み込み-再帰型ネットワークに再定式化することで、GPPNsはより高速な学習、向上した訓練安定性、ハイパーパramーターやランダムシードへの感受性の低減、およびより優れた一般化性能を達成し、RGB観測のみを用いた2次元迷路と3次元ViZDoom環境において、VINを上回る性能を発揮する。

ABSTRACT

Value Iteration Networks (VINs) are effective differentiable path planning modules that can be used by agents to perform navigation while still maintaining end-to-end differentiability of the entire architecture. Despite their effectiveness, they suffer from several disadvantages including training instability, random seed sensitivity, and other optimization problems. In this work, we reframe VINs as recurrent-convolutional networks which demonstrates that VINs couple recurrent convolutions with an unconventional max-pooling activation. From this perspective, we argue that standard gated recurrent update equations could potentially alleviate the optimization issues plaguing VIN. The resulting architecture, which we call the Gated Path Planning Network, is shown to empirically outperform VIN on a variety of metrics such as learning speed, hyperparameter sensitivity, iteration count, and even generalization. Furthermore, we show that this performance gap is consistent across different maze transition types, maze sizes and even show success on a challenging 3D environment, where the planner is only provided with first-person RGB images.

研究の動機と目的

• 値反復ネットワーク（VINs）における訓練不安定性、ランダムシード感受性、ハイパーパramータ感受性を解消すること。
• VINsに内在するインダクティブバイアスが、効果的な微分可能なパスプランニングに必要かどうかを調査すること。
• エンドツーエンドの微分可能なナビゲーションアーキテクチャにおける最適化と一般化性能を向上させること。
• 2次元迷路とRGB観測のみを用いた3次元ビデオゲーム環境を含む多様な環境における性能を評価すること。

提案手法

• VINを畳み込み-再帰型ネットワークに再定式化することで、LSTMのような標準的なゲーテッド再帰ユニットの使用を可能にする。
• VINの非標準的な更新（畳み込み + 最大プーリング）を、ゲーテッド再帰的更新メカニズムに置き換える。
• LSTMベースの更新を用いて反復処理中に状態表現を保持・更新し、勾配の流れを改善する。
• 共有重みを空間的位置にわたって使用しながら、最適パスの教師付き模倣を用いてGPPNをエンドツーエンドで学習する。
• GPPNを2次元グリッドワールドの迷路と、1人称RGB入力を用いた3次元ViZDoom環境に適用する。
• カーネルサイズと反復回数を制御可能なハイパーパramータとして用い、スケーラビリティと効率性を評価する。

実験結果

リサーチクエスチョン

• RQ1 VINの非標準的な再帰的更新を標準的なゲーテッド再帰ユニットに置き換えることで、訓練安定性と収束性が向上するか？
• RQ2 GPPNはVINと比較して、ランダムシードやハイパーパramータ選択に対する感受性が低いか？
• RQ3 GPPNは、VINと比較して少ない訓練データでもより優れた一般化性能を示せるか？
• RQ4 GPPNは、大きなカーネルサイズや少ない反復回数においても、VINと比較して性能を維持または向上できるか？
• RQ5 GPPNは、RGB観測のみを用いても、複雑な3次元環境でのパスプランニングに成功するか？

主な発見

• GPPNsは著しく高速な学習を達成し、数エポックで高い性能に到達するが、VINはより長い訓練期間を要する。
• GPPNsは訓練不安定性が低く、エポックごとの性能の高・低の振動が少ない。
• GPPNsはランダムシードやハイパーパramータに対する感受性が低く、実行間でより一貫した性能を示す。
• GPPNsは少ない訓練データでもより優れた一般化性能を示し、データサイズが小さいほどVINとの性能差が拡大する。
• 2次元迷路において、GPPNsはさまざまな迷路サイズ、遷移タイプ、カーネルサイズ（VINが不安定化する大きなカーネルも含む）においてVINを上回る性能を発揮する。
• 3次元ViZDoom環境では、GPPNsが1人称RGB画像のみを用いてパスプランニングに成功し、部分観測性や複雑な視覚入力に対しても頑健であることが示された。