[論文レビュー] Dense RGB-D semantic mapping with Pixel-Voxel neural network

Cheng Zhao, Li Sun+2 more|arXiv (Cornell University)|Sep 30, 2017

Robotics and Sensor-Based Localization参考文献 23被引用数 4

ひとこと要約

本稿では、RGB画像によるグローバルコンテキストと3次元点群によるローカルジオメトリを統合して、リアルタイムな高密度RGB-Dセマンティックマッピングシステムを提案する。PixelNetとVoxelNetの予測を信頼度に基づいて適応的に統合するソフトマックス重み付き統合スタックを採用することで、SUN RGB-Dベンチマークで最先端の性能を達成し、標準PCにTitan X GPUを搭載した環境で11–12 Hzで動作する。

ABSTRACT

For intelligent robotics applications, extending 3D mapping to 3D semantic mapping enables robots to, not only localize themselves with respect to the scene's geometrical features but also simultaneously understand the higher level meaning of the scene contexts. Most previous methods focus on geometric 3D reconstruction and scene understanding independently notwithstanding the fact that joint estimation can boost the accuracy of the semantic mapping. In this paper, a dense RGB-D semantic mapping system with a Pixel-Voxel network is proposed, which can perform dense 3D mapping while simultaneously recognizing and semantically labelling each point in the 3D map. The proposed Pixel-Voxel network obtains global context information by using PixelNet to exploit the RGB image and meanwhile, preserves accurate local shape information by using VoxelNet to exploit the corresponding 3D point cloud. Unlike the existing architecture that fuses score maps from different models with equal weights, we proposed a Softmax weighted fusion stack that adaptively learns the varying contributions of PixelNet and VoxelNet, and fuses the score maps of the two models according to their respective confidence levels. The proposed Pixel-Voxel network achieves the state-of-the-art semantic segmentation performance on the SUN RGB-D benchmark dataset. The runtime of the proposed system can be boosted to 11-12Hz, enabling near to real-time performance using an i7 8-cores PC with Titan X GPU.

研究の動機と目的

• ロボティクスアプリケーションにおけるセマンティック理解と幾何的再構成を統合することで、リアルタイムな高密度3次元セマンティックマッピングを可能にすること。
• 従来の手法が3次元再構成とセマンティックセグメンテーションを別々に処理するため、精度が低下するという限界を是正すること。
• RGB画像（グローバルコンテキスト）と3次元点群（ローカル形状の詳細）の両方を活用する共同学習フレームワークを構築し、セマンティックセグメンテーションの精度を向上させること。
• 信頼度に基づいて異なるネットワークの予測を動的に重み付ける学習可能な統合メカニズムを設計すること。
• 標準のハードウェアを用いて実用的なロボットデプロイメントに適した近似リアルタイム性能（11–12 Hz）を達成すること。

提案手法

• ピクセルボクセルネットワークは、2つの並列ブランチから構成される：PixelNetは、スタックドダイレートド畳み込みによりRGB画像を処理し、マルチスケールのグローバルコンテキストを抽出する。
• VoxelNetは、3次元点群を3次元グリッドにボクセル化し、プーリングを用いない3次元畳み込み層を適用することで、局所的な幾何的詳細を保持する。
• ソフトマックス重み付き統合スタックは、信頼度に基づいてPixelNetとVoxelNetのスコアマップを動的に統合する。各ネットワークの出力に対する重みを学習することで、適応的統合を実現する。
• 統合メカニズムは微分可能であり、任意のネットワークアーキテクチャに挿入可能で、複数の入力モodalストリームを用いたエンドツーエンド学習を可能にする。
• システムはピクセルボクセルネットワークをRGB-D SLAMと統合し、ビジュアルオドメトリとボクセルラベルの再帰的ベイズ的リファイニングを用いて、逐次的に高密度3次元セマンティックマップを構築する。
• ネットワークはCaffeを用いてCUDACuDNNアクセラレーションでSUN RGB-Dデータセット上で学習され、推論は半スケール入力を用いて最適化され、リアルタイム性能が達成される。

実験結果

リサーチクエスチョン

• RQ1 RGB画像と3次元点群からの共同学習は、個別処理に比べてセマンティックセグメンテーションの精度を向上させることができるか？
• RQ2 RGB画像（グローバルコンテキスト）と3次元点群（ローカルジオメトリ）の相補的利点を、ディープラーニングフレームワーク内で効果的に統合できるか？
• RQ3 学習可能な信頼度ベース統合メカニズムは、固定重み統合を上回る性能を発揮できるか？
• RQ4 標準デスクトップハードウェア上で、ピクセルボクセルネットワークを用いてリアルタイムな高密度3次元セマンティックマッピング（11–12 Hz）を実現するのは可能か？
• RQ5 実世界のデータに対して、SUN RGB-Dベンチマークと比較して本システムの性能はどのようになるか。一般化に影響を与える要因は何か？

主な発見

• ピクセルボクセルネットワークはSUN RGB-Dベンチマークで最先端の性能を達成し、VGG16を用いた場合の平均交差率（mIoU）は68.77%、ResNet101を用いた場合のmIoUは72.47%を記録した。
• ソフトマックス重み付き統合スタックは、各ネットワークの信頼度に基づいて寄与度を動的に調整することで、等重み統合を上回る性能向上を実現した。
• i7 8コアCPUとTitan X GPUを搭載した標準PCで、半スケール入力を用いることで11–12 Hzで動作し、近似リアルタイム要件を満たした。
• 実世界のリビングルームやベッドルームのシーンから得られた定性的な結果では、正確な境界形状を持つ高密度3次元セマンティックマップが生成された。
• 強力な性能を発揮しているが、照明の変動、合成データであるSUN RGB-Dデータから実世界のKinect V2データへのドメインシフト、センサーノイズの影響により、一部の誤りが生じた。
• キーフレームの処理と半分解像度入力の使用により、実行時間が11–12 Hzに向上し、速度と精度の妥当なトレードオフが実現された。