[論文レビュー] Obstacle Avoidance through Deep Networks based Intermediate Perception

Shichao Yang, Sandeep Konam+4 more|arXiv (Cornell University)|Apr 27, 2017

Robotics and Sensor-Based Localization参考文献 19被引用数 34

ひとこと要約

本論文では、最初に深度と表面法線を中間的な幾何的表現として予測し、その後それらを用いて3次元軌道を予測することで、単眼障害物回避のための2段階のディープラーニング手法を提案する。この手法は、直接RGBから軌道を予測する手法と比較して20%高い精度を達成し、屋内データセットおよび実世界のマルチローターダrone飛行においても良好な汎用性を示す。また、一般消費者向けGPU上で25 Hzのリアルタイム推論が可能である。

ABSTRACT

Obstacle avoidance from monocular images is a challenging problem for robots. Though multi-view structure-from-motion could build 3D maps, it is not robust in textureless environments. Some learning based methods exploit human demonstration to predict a steering command directly from a single image. However, this method is usually biased towards certain tasks or demonstration scenarios and also biased by human understanding. In this paper, we propose a new method to predict a trajectory from images. We train our system on more diverse NYUv2 dataset. The ground truth trajectory is computed from the designed cost functions automatically. The Convolutional Neural Network perception is divided into two stages: first, predict depth map and surface normal from RGB images, which are two important geometric properties related to 3D obstacle representation. Second, predict the trajectory from the depth and normal. Results show that our intermediate perception increases the accuracy by 20% than the direct prediction. Our model generalizes well to other public indoor datasets and is also demonstrated for robot flights in simulation and experiments.

研究の動機と目的

• 特定のシナリオやタスクに偏った人間のデモンストレーションに基づくデータセットの限界を解消すること。
• 従来のSfMやvSLAMが失敗するテクスチャが乏しいもしくは低テクスチャの環境における単眼障害物回避の改善。
• 人間がラベル付けしたステアリング命令に依存せずに、単一のRGB画像からロバストで汎用性の高い軌道予測手法の開発。
• 単眼ビジョンのみを用いて、複雑な屋内環境におけるリアルタイムで高精度なナビゲーションを実現すること。
• シミュレーションおよびハードウェア上での実世界のロボット飛行において、データセット間での汎用性を実証すること。

提案手法

• RGB-D画像に3次元コスト関数を適用することで、人間のデモンストレーションに依存せずに、自己教師付きの真値軌道を自動生成する。
• 2段階の畳み込みニューラルネットワーク（CNN）を訓練：まずRGB画像から深度マップおよび表面法線マップを中間的認識として予測する。
• 予測された深度マップと法線マップを入力として、2番目のCNNを用いてロボットの局所座標系における3次元軌道を回帰する。
• 幾何的事前知識（深度と表面法線）を活用することで、3次元シーン理解および軌道予測の精度を向上させる。
• 自己教師付きの軌道ラベル付けをコスト関数最適化により行い、NYUv2データセットを用いてモデルを訓練する。
• GPU上でリアルタイム推論を実行し、シミュレーテッドマルチローターおよび実際のParrot Bebopドローンの両方で、訓練済みモデルをデプロイする。

実験結果

リサーチクエスチョン

• RQ1 人間のデモンストレーションに依存せずに、RGB-Dデータから正確な自己教師付き真値軌道を生成できるか？
• RQ2 中間的な幾何的表現（深度と表面法線）を予測することで、直接RGBから軌道を学習する手法と比較して、軌道予測の精度が向上するか？
• RQ3 2段階の中間認識手法は、多様な屋内環境およびデータセットにわたってどれほど汎用性を示すか？
• RQ4 モデルは、動的シミュレーションおよび実際のロボット飛行において、リアルタイムでロバストな障害物回避を可能にするか？
• RQ5 直接予測と中間認識の間で、障害物回避の精度および汎用性の面で、性能差はどの程度か？

主な発見

• 2段階の中間認識手法は、直接RGBから軌道を予測する手法と比較して、20%高い精度の軌道予測を実現した。
• モデルはNYUv2以外の公開屋内データセットに対しても良好に汎用され、ドメインシフトに対して強い耐性を示した。
• シミュレーションでは、マルチローターが障害物から平均0.98mの距離を保ち、0.52mのドローン幅を考慮しても0.78mの幅のドアを正常に通過した。
• システムは25 Hz（GTX 980 Ti GPU上での平均推論時間38.5ms）でリアルタイムに動作し、リアルタイム制御に適している。
• 実際のマルチローター飛行では、通路、カーブ、障害物が多数存在するシーンにおいても、妥当な軌道を予測できた。
• 実飛行における状態推定の不安定さにもかかわらず、軌道予測システムは機能的かつ効果的であり、強力な認識能力を示した。