[論文レビュー] Probably Approximately Correct Vision-Based Planning using Motion Primitives

Sushant Veer, Anirudha Majumdar|arXiv (Cornell University)|Feb 28, 2020

Robotic Path Planning Algorithms被引用数 5

ひとこと要約

本論文は、未知の環境において一般化保証が保証可能なビジョンベースの運動計画法を学習するPAC-Bayesに基づくフレームワークを提案する。進化的戦略による事前分布の学習とPAC-Bayes境界の凸最適化を組み合わせることで、深層ニューラルネットワークポリシーを学習し、未確認の障害物領域や粗い地形において75–80％の成功率を達成する。高い信頼性で性能の証明書を提供する。

ABSTRACT

This paper presents an approach for learning vision-based planners that provably generalize to novel environments (i.e., environments unseen during training). We leverage the Probably Approximately Correct (PAC)-Bayes framework to obtain an upper bound on the expected cost of policies across all environments. Minimizing the PAC-Bayes upper bound thus trains policies that are accompanied by a certificate of performance on novel environments. The training pipeline we propose provides strong generalization guarantees for deep neural network policies by (a) obtaining a good prior distribution on the space of policies using Evolutionary Strategies (ES) followed by (b) formulating the PAC-Bayes optimization as an efficiently-solvable parametric convex optimization problem. We demonstrate the efficacy of our approach for producing strong generalization guarantees for learned vision-based motion planners through two simulated examples: (1) an Unmanned Aerial Vehicle (UAV) navigating obstacle fields with an onboard vision sensor, and (2) a dynamic quadrupedal robot traversing rough terrains with proprioceptive and exteroceptive sensors.

研究の動機と目的

• 未知の環境に対して明示的かつ証明可能な一般化保証を提供するビジョンベースの計画フレームワークの開発。
• 特に安全が求められるロボティクス応用分野において、深層学習ベースのビジョン計画法に性能の境界がないという課題の解決。
• 未確認の環境において期待される性能の証明書を備えた深層ニューラルネットワークポリシーの学習の実現。
• 運動プリミティブとPAC-Bayes理論を統合することで、ビジョンベース制御におけるサンプル効率と一般化性能の向上。
• シミュレーテッドドローンおよび四足歩行ロボットの運動タスクを通じて、フレームワークの有効性を実証し、定量的な性能境界を提示。

提案手法

• PAC-Bayesフレームワークを活用し、すべての環境におけるポリシーの期待コストの上界を導出し、性能認証を可能にする。
• PAC-Bayス最適化の前段階として、ポリシー空間における高品質な事前分布を学習するために進化的戦略（ES）を採用する。
• 相対エントロピープログラミング（REP）を用いてPAC-Bayes最適化をパラメトリックな凸問題に定式化し、効率的な解法を可能にする。
• 複雑な運動を分解するために、運動プリミティブのライブラリを活用し、学習の安定性を向上させるとともに、多様な行動の組み合わせを可能にする。
• 視覚的観測（例：RGB-D）と本体感覚フィードバックを入力とし、ライブラリ内の運動プリミティブを出力する深層ニューラルネットワークポリシーを設計する。
• 訓練中にPAC-Bayes境界を直接最適化することで、未確認の環境においても保証された性能水準を持つポリシーが得られるようにする。

実験結果

リサーチクエスチョン

• RQ1 未知の環境において、証明可能な一般化保証を備えたビジョンベースの運動計画法を学習できるか？
• RQ2 PAC-Bayes理論を、運動プリミティブおよび深層学習と効果的に統合することで、ビジョンベース計画に応用できるか？
• RQ3 進化的戦略を用いて、高次元のポリシー空間におけるPAC-Bayes境界のタイトさを向上させる強力な事前分布を学習できるか？
• RQ4 提案されたフレームワークを用いることで、未確認の環境でどの程度の性能を保証できるか？
• RQ5 一般化境界のタイトさという観点から、訓練環境の数が増加するに従い、フレームワークはどのようにスケーリングするか？

主な発見

• ドローンナビゲーションタスクにおいて、本手法は99％の信頼度で、未確認の障害物領域の75–80％を正常に通過する計画法であることを保証する。
• 四足歩行ロボットの運動タスクにおいて、PAC-Bayes境界は、99％の確率で未確認の粗い地形の平均79.27％を通過すると証明する。
• 2段階の訓練パイプライン（ESによる事前分布学習とREPに基づくPAC-Bayes最適化）により、よりタイトで信頼性の高い一般化境界が得られる。
• フレームワークは、明示的な幾何的ワールドモデルやエキスパートのデモンストレーションを必要とせず、強力な一般化性能を達成する。
• PAC-Bayes最適化プロセスは計算的に効率的であり、REPの部分問題を1イテレーションあたり約1秒で解ける。
• 本手法は、訓練環境とテスト環境が同一の潜在分布から抽出されるという仮定の下で、性能証明書を提供する。