[論文レビュー] Multi-View Deep Learning for Consistent Semantic Mapping with RGB-D Cameras

Lingni Ma, Jörg Stückler+2 more|arXiv (Cornell University)|Mar 26, 2017

Robotics and Sensor-Based Localization参考文献 30被引用数 18

ひとこと要約

本論文は、RGB-Dカメラを用いた一貫性のあるセマンティックマッピングのためのマルチビュー深層学習フレームワークを提案する。SLAMトラジェクトリーを用いて複数のビューからの特徴を基準フレームにワープすることで、CNNがビュー不変のセマンティクスを予測するように訓練する。マルチスケールの監視とマルチビュー一貫性学習を用いることで、NYUDv2で単一ビュー分類およびマルチビュー統合分類の両面で最先端の性能を達成し、特徴のマックスプーリングが最良の結果をもたらす。

ABSTRACT

Visual scene understanding is an important capability that enables robots to purposefully act in their environment. In this paper, we propose a novel approach to object-class segmentation from multiple RGB-D views using deep learning. We train a deep neural network to predict object-class semantics that is consistent from several view points in a semi-supervised way. At test time, the semantics predictions of our network can be fused more consistently in semantic keyframe maps than predictions of a network trained on individual views. We base our network architecture on a recent single-view deep learning approach to RGB and depth fusion for semantic object-class segmentation and enhance it with multi-scale loss minimization. We obtain the camera trajectory using RGB-D SLAM and warp the predictions of RGB-D images into ground-truth annotated frames in order to enforce multi-view consistency during training. At test time, predictions from multiple views are fused into keyframes. We propose and analyze several methods for enforcing multi-view consistency during training and testing. We evaluate the benefit of multi-view consistency training and demonstrate that pooling of deep features and fusion over multiple views outperforms single-view baselines on the NYUDv2 benchmark for semantic segmentation. Our end-to-end trained network achieves state-of-the-art performance on the NYUDv2 dataset in single-view segmentation as well as multi-view semantic fusion.

研究の動機と目的

• ロボットのシーン理解を目的として、RGB-Dシーケンスにおける複数ビュー間のセマンティックセグメンテーションの一貫性を向上させること。
• 自己教師ありの方法でマルチビュー一貫性を活用することで、大規模なアノテート済みデータに依存するのを減らすこと。
• ビュー不変特徴学習を用いたエンドツーエンドの訓練により、単一ビュー分類とマルチビュー統合性能を向上させること。
• RGB-Dカメラを用いたセマンティックSLAMシステムへの統合に適したフレームワークを開発すること。

提案手法

• FuseNetをインspiredした、RGBと深度特徴のための別々のブランチを備えたエンコーダデコーダアーキテクチャに基づく。その後に特徴の統合とデコンボリューションによるアップサンプリングが行われる。
• 特徴の学習と局所化精度の向上を目的として、すべてのデコーダ層にマルチスケールの深層監視が適用される。
• SLAMトラジェクトリー推定値を用いて、複数のビューからの予測特徴マップを共通の基準ビューにワープすることで、マルチビュー一貫性が強制される。
• 3つのマルチビュー一貫性学習のバリエーションが提案される：マックスプーリングを用いた特徴マップワープ、増幅ベースのワープ、訓練中のベイジアン統合。
• 推論時、複数のビューからの予測はSLAMトラジェクトリーとベイジアン統合則を用いてキーフレームに確率的に統合される。
• 訓練プロセスでは、複数スケールでのワープ予測を監視として用いることで、ネットワークがビュー不変表現を学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 マルチビュー一貫性学習は、単一ビューベースラインと比較して、RGB-Dシーケンスにおけるセマンティックセグメンテーション性能を向上させることができるか？
• RQ2 特徴マップワープ、データ増強、ベイジアン統合のうち、どの方法が単一ビューおよびマルチビュー設定の両方で最高の性能をもたらすか？
• RQ3 マルチスケール監視とマルチビュー一貫性を組み合わせたエンドツーエンドの訓練は、NYUDv2ベンチマークで最先端の結果をもたらすか？
• RQ4 マルチビュー統合は、単一ビュー予測と比較して、どの程度セグメンテーション精度を向上させるか？

主な発見

• ワープされた特徴マップのマックスプーリングを用いた提案されたマルチビュー一貫性学習は、単一ビュー予測において、NYUDv2 13クラスセマンティックセグメンテーションベンチマークで最先端の性能を達成した。
• ベイジアン統合を用いたマルチビュー統合は、すべての評価指標において単一ビュー予測と比較して約2%の精度向上を達成した。
• すべてのマルチビュー一貫性学習アプローチが、単一ビューベースライン（MVCNet-Mono）を著しく上回り、特にマルチビューのマックスプーリングが最も顕著な向上を示した。
• 従来の研究で一般的に用いられる密度付きCRFのような後処理ステップを必要とせず、優れた性能を達成した。
• 定性的な結果から、マルチビュー一貫性学習により、オブジェクトの境界やごみだらけのシーンなど、挑戦的な領域でもより一貫性があり正確なセグメンテーションが得られることを示した。
• RGB-D SLAMトラジェクトリーとエンドツーエンドの訓練に適合するため、セマンティックSLAMパイプラインへの統合の可能性が強く示された。