[論文レビュー] GONet++: Traversability Estimation via Dynamic Scene View Synthesis.

Noriaki Hirose, Amir Sadeghian+2 more|arXiv (Cornell University)|Jun 22, 2018

Robot Manipulation and Learning参考文献 28被引用数 3

ひとこと要約

本稿では、2つの連続した時刻ステップにおけるRGB画像のみを用いて動的シーンのビューを合成することで、将来的なロボットの走破可能性を推定する手法GONet++を提案する。2つのネットワーク（SNetとDNet）を用いてカメラのポーズ変化と動的障害物の運動を分離し、静的および動的環境の両方で走破可能性予測を向上させる正確な将来の画像を生成する。テレオペレーション応用における検証が行われている。

ABSTRACT

We present VUNet, a novel view(VU) synthesis method for mobile robots in dynamic environments, and its application to the estimation of future traversability. Our method predicts future images for given virtual robot velocity commands using only RGB images at previous and current time steps. The future images result from applying two types of image changes to the previous and current images: 1) changes caused by different camera pose, and 2) changes due to the motion of the dynamic obstacles. We learn to predict these two types of changes disjointly using two novel network architectures, SNet and DNet. We combine SNet and DNet to synthesize future images that we pass to our previously presented method GONet to estimate the traversable areas around the robot. Our quantitative and qualitative evaluation indicate that our approach for view synthesis predicts accurate future images in both static and dynamic environments. We also show that these virtual images can be used to estimate future traversability correctly. We apply our view synthesis-based traversability estimation method to two applications for assisted teleoperation.

研究の動機と目的

• 2つの時刻ステップにおけるRGB画像のみを用いて、動的環境下でのモバイルロボットの正確な将来のシーンビュー合成を可能にすること。
• 画像の変化におけるカメラ移動と動的障害物の運動の影響を分離し、より優れたビュー合成を実現すること。
• 合成された将来の画像を活用して、ロボットナビゲーションの走破可能性推定を向上させること。
• 補助的テレオペレーションを含む実世界の応用において、本手法を検証すること。
• 定量的および定性的な評価を通じて、静的および動的環境の両方で堅牢性を示すことを目的とする。

提案手法

• 本手法は、2つの異なる画像変化（カメラポーズのシフトと動的障害物の運動）をモデル化することで将来の画像を予測する、新規のビュー合成ネットワークVUNetを用いる。
• SNetは、時刻間の相対的なロボットポーズに基づいて、カメラ移動に起因する画像変化を予測する専用ネットワークである。
• DNetは、2つの入力画像からの外観および運動の手がかりを用いて、移動障害物に起因する画像変化を予測する別個のネットワークである。
• SNetとDNetの出力を組み合わせることで、将来のポーズにおけるロボットの視認画像を完全に合成する。
• 合成された将来の画像は、事前に開発済みの走破可能性推定モデルGONetに供給され、走破可能な領域を予測する。
• 本アプローチはRGB入力のみに依存しており、深度情報、物体検出、シーンセグメンテーションネットワークを必要としない。

実験結果

リサーチクエスチョン

• RQ1 2つのRGB画像とロボットの速度指令のみを用いて、動的環境下で正確な将来のシーンビューを合成できるか？
• RQ2 カメラ移動と動的障害物の運動を分離することで、合成された将来の画像の品質が向上するか？
• RQ3 合成された将来の画像は、リアルタイムの周囲認識のみに比べて、走破可能性推定の精度を向上させられるか？
• RQ4 動的障害物を含む実世界のテレオペレーションシナリオにおいて、本手法はどの程度有効か？
• RQ5 明示的なシーン理解を必要とせず、静的および動的環境の両方で一般化可能か？

主な発見

• 提案されたビュー合成手法は、定性的および定量的評価により、静的および動的環境の両方で高精細な将来の画像を生成することを確認した。
• SNetとDNetを用いたカメラポーズ変化と動的障害物の運動の分離により、より正確で現実的な画像合成が実現した。
• 合成された画像をGONetの入力として用いることで、走破可能性推定の精度が顕著に向上した。
• 本手法は、補助的テレオペレーションの2つの応用において成功裏に実装され、実世界シナリオにおける実用的価値を示した。
• 深度センサーや物体検出、シーンセグメンテーションを必要とせず、RGB入力のみに依存するにもかかわらず、堅牢な性能を達成した。