[論文レビュー] Planning Robot Motion using Deep Visual Prediction

Meenakshi Sarkar, Prabhu Pradhan+1 more|arXiv (Cornell University)|Jun 24, 2019

Human Pose and Action Recognition参考文献 22被引用数 7

ひとこと要約

本論文では、第一人称ロボット視点からの生動画フレームから将来のロボット運動を予測する軽量で教師なしのディープラーニングフレームワーク、PROM-Netを提案する。本研究では、多様な照明および地形状態を有する新しいLEGOベースのデータセットで訓練されたPROM-Netは、モバイルプラットフォーム上でリアルタイムの運動計画に適した10フレーム先の予測を高精度で達成しており、PSNRおよびSSIM指標において完全結合LSTMベースラインを上回っている。また、動的環境下でも視覚ベースのモデル予測制御を可能としている。

ABSTRACT

In this paper, we introduce a novel framework that can learn to make visual predictions about the motion of a robotic agent from raw video frames. Our proposed motion prediction network (PROM-Net) can learn in a completely unsupervised manner and efficiently predict up to 10 frames in the future. Moreover, unlike any other motion prediction models, it is lightweight and once trained it can be easily implemented on mobile platforms that have very limited computing capabilities. We have created a new robotic data set comprising LEGO Mindstorms moving along various trajectories in three different environments under different lighting conditions for testing and training the network. Finally, we introduce a framework that would use the predicted frames from the network as an input to a model predictive controller for motion planning in unknown dynamic environments with moving obstacles.

研究の動機と目的

• 未知の動的環境下におけるロボット運動計画のための軽量で教師なしの視覚予測フレームワークの開発。
• 訓練および評価のための、多様な照明および地形状態下で撮影されたLEGO Mindstormsの第一人称ロボットビデオを収集した新規データセットの作成。
• モデル予測制御を介して予測された動画フレームを行動制御ポリシーに変換することで、モバイルプラットフォーム上でのリアルタイム運動計画を可能とする。
• 移動障害物を伴う高速で動的変化する状況において、従来の視覚伺服制御などの視覚ベース手法の限界を克服する。
• 人間の監視なしに、生動画データとエンドツーエンドの訓練のみを用いて学習するシステムの設計。

提案手法

• PROM-Netは、残差接続を備えた畳み込みエンコーダ・デコーダアーキテクチャを採用し、10個の入力フレームから10個の将来フレームを教師なしで予測する。
• 予測の視覚的質を向上させ、ぼやけを低減するために、ピixeLレベルの再構成損失（L1/L2）と adversarial loss を用いて訓練する。
• 4つの異なる環境（屋内日光、屋内人工照明、屋外日差しの当たる舗装路、夕暮れ時の滑走路）で、2台のLEGO Mindstormsロボットを用いて独自のロボットデータセットを収集した。
• 予測フレームをモデル予測制御（MPC）に統合するために、予測フレーム内での障害物への接近度をペナルティとする報酬関数を定義する。
• 効率的な低計算リソースプラットフォームへのデプロイを可能にするために、バッチサイズ64、固定学習率0.001でRMSPropを用いて訓練を実施する。
• アーキテクチャの変更を最小限に抑えながら、グレースケールおよびRGB入力をサポートするため、実世界のロボットセンサーへの適応性を確保している。

実験結果

リサーチクエスチョン

• RQ1 生第一人称動画フレームから、運動計画に十分な精度で将来のロボット運動を予測できる軽量で教師なしのディープラーニングモデルは構築可能か？
• RQ2 標準的なLSTMベースラインと比較して、PROM-Netは未学習の軌道および環境条件にどの程度一般化できるか？
• RQ3 PROM-Netが生成する予測動画フレームは、障害物が多数存在する動的環境下で、モデル予測制御を効果的にガイドできるか？
• RQ4 環境の変動要因（照明、地形、影）が、実世界のロボットシナリオにおける視覚的運動予測性能に及ぼす影響はどの程度か？
• RQ5 障害物への接近度に基づく報酬関数と予測フレームのみを用いて、視覚ベースのMPCシステムを効果的に訓練できるか？

主な発見

• PROM-Netは、シミュレーションおよび実世界データの両方において、完全結合LSTMネットワークを上回る優れた性能を示し、10フレームすべてで高いPSNRおよびSSIM値を達成した。
• ネットワークは未学習の軌道への一般化能力を強く示しており、学習データに存在しなかったシナリオでも運動を的確に予測できた（図6参照）。
• 実世界のARMデータセットにおいて、PROM-Netは10フレームすべてで平均SSIMが0.75を超えた。これは、運動予測における高い視覚的質を示している。
• 回帰損失によるぼやけは一部見られたが、予測フレームから将来的な物体の運動方向を十分に特定できており、これはパスプランニングにとって極めて重要である。
• 予測フレームをモデル予測制御に統合することで、障害物回避が効果的に実現され、障害物に近づく軌道を報酬関数が的確にペナルティ処理した。
• 軽量なアーキテクチャのおかげで、本フレームワークはモバイルプラットフォームにデプロイ可能であり、エッジデバイスでもリアルタイム推論が可能である。