[論文レビュー] 3DMV: Joint 3D-Multi-View Prediction for 3D Semantic Scene Segmentation

Angela Dai, Matthias Nießner|arXiv (Cornell University)|Mar 28, 2018

Advanced Vision and Imaging参考文献 35被引用数 4

ひとこと要約

3DMVは、RGBと幾何特徴を統合する共同3次元マルチビュー深層学習フレームワークを提案し、屋内RGB-Dスキャンにおける3次元セマンティックシーンセグメンテーションを実現する。入力画像から2次元特徴を抽出し、微分可能層を介して3次元ボクセルグリッドにバックプロジェクションし、それを3次元幾何特徴と統合するエンドツーエンドネットワークにより、ScanNetベンチマークで75%の平均交差率（mIoU）を達成。これは従来のボリュメトリック手法よりも+22.2%の向上を示している。

ABSTRACT

We present 3DMV, a novel method for 3D semantic scene segmentation of RGB-D scans in indoor environments using a joint 3D-multi-view prediction network. In contrast to existing methods that either use geometry or RGB data as input for this task, we combine both data modalities in a joint, end-to-end network architecture. Rather than simply projecting color data into a volumetric grid and operating solely in 3D -- which would result in insufficient detail -- we first extract feature maps from associated RGB images. These features are then mapped into the volumetric feature grid of a 3D network using a differentiable backprojection layer. Since our target is 3D scanning scenarios with possibly many frames, we use a multi-view pooling approach in order to handle a varying number of RGB input views. This learned combination of RGB and geometric features with our joint 2D-3D architecture achieves significantly better results than existing baselines. For instance, our final result on the ScanNet 3D segmentation benchmark increases from 52.8\% to 75\% accuracy compared to existing volumetric architectures.

研究の動機と目的

• 屋内環境における3次元セマンティックシーンセグメンテーションを、RGBと幾何データを効果的に統合することで向上させること。
• 低ボクセル解像度のため、従来のボリュメトリックネットワークが豊富な2次元画像特徴を活用できないという限界を克服すること。
• 2次元および3次元モダリティからの相乗的表現を学習できる、エンドツーエンドの共同3次元マルチビューアーキテクチャを構築すること。
• 順次スキャンのシナリオにおいて堅牢性を確保できるように、入力RGBビューの数を可変として扱えるマルチビュー平均化機構を採用すること。
• 3次元セマンティックセグメンテーションベンチマークにおいて、従来の最先端のボリュメトリックおよびポイントベースの手法を上回ること。

提案手法

• 本手法は、入力RGB画像から高解像度の特徴マップを抽出する2次元バックボーンネットワークを用いる。
• これらの2次元特徴は畳み込み層を介してダウンサンプリングされ、微分可能なバックプロジェクション層を用いて3次元ボリュームグリッドにバックプロジェクションされる。
• 3次元ネットワークは、バックプロジェクションされた2次元特徴と元の3次元幾何特徴（例：符号付き距離関数）を、共通の3次元畳み込みアーキテクチャで処理する。
• マルチビュー平均化戦略により、RGB-Dスキャンからの可変な入力シーケンスに対応できるように、複数のRGBビューからの特徴を統合する。
• ネットワーク全体をエンドツーエンドで訓練することで、2次元および3次元特徴学習の共同最適化を可能にする。
• 2次元および3次元特徴の統合は、中間層（特に3次元ネットワークの2/3層）で実施され、これが最適なパフォーマンスを発揮することが判明した。

実験結果

リサーチクエスチョン

• RQ1 2次元と3次元の特徴を共同で学習することで、3次元セマンティックセグメンテーションの精度が、3次元幾何またはRGBデータのみを用いる場合よりも向上するか？
• RQ2 密度の高い3次元再構成シナリオにおいて、マルチビューRGB特徴の統合がセグメンテーション性能に与える影響は何か？
• RQ3 3次元セグメンテーションネットワークにおいて、2次元および3次元特徴を統合する最適な戦略（例：早期統合、遅延統合、中間統合）は何か？
• RQ4 2次元および3次元特徴はどの程度補完的であり、重複しているのか、それとも相乗的であるのか？
• RQ5 入力RGBビューの数がセグメンテーション精度に与える影響は何か？性能は特定の入力数を超えて飽和するか？

主な発見

• 提案された3DMV手法は、ScanNet 3次元セマンティックセグメンテーションベンチマークで75%の平均交差率（mIoU）を達成し、従来の最高のボリュメトリック手法（52.8%）よりも顕著な向上を示した。
• PointNetベースの最良のベースラインよりも14.8ポイント高いmIoUを達成し、共同3次元マルチビュー学習の有効性を示した。
• 2/3層での統合戦略—つまり、3次元ネットワークの2/3層で2次元および3次元特徴を統合する—が最良のパフォーマンスを発揮し、早期および遅延統合のバリエーションを上回った。
• より多くのRGBビューを追加することで性能が向上するが、追加するたびにその恩恵は減少し、ある数を超えると収益逓減の傾向を示した。
• 共同3次元マルチビューネットワークは直交的で補完的な特徴を学習する：RGBと幾何特徴は重複していないが、互いに補い合う。
• 本手法は2次元ピクセルレベルのセグメンテーションタスクに対しても良好に一般化でき、3DラベルをRGBフレームに再投影した際、NYU2データセットで71.2%の精度を達成した。