[論文レビュー] Bidirectional Projection Network for Cross Dimension Scene Understanding

Wenbo Hu, Hengshuang Zhao+3 more|arXiv (Cornell University)|Mar 26, 2021

3D Shape Modeling and Analysis参考文献 70被引用数 4

ひとこと要約

本論文は、複数のピラミッドレベルで双方向投影モジュール（BPM）を介して2次元画像と3次元ポイントクラウドの間で双方向的特徴相互作用を可能にする、エンドツーエンドの新規フレームワークであるBidirectional Projection Network（BPNet）を提案する。2次元および3次元のセマンティックセグメンテーションを統合最適化することで、BPNetはScanNetV2ベンチマークで最先端の性能を達成し、2次元および3次元のmIoUスコアの両方で単一モodalベースラインを上回った。

ABSTRACT

2D image representations are in regular grids and can be processed efficiently, whereas 3D point clouds are unordered and scattered in 3D space. The information inside these two visual domains is well complementary, e.g., 2D images have fine-grained texture while 3D point clouds contain plentiful geometry information. However, most current visual recognition systems process them individually. In this paper, we present a \emph{bidirectional projection network (BPNet)} for joint 2D and 3D reasoning in an end-to-end manner. It contains 2D and 3D sub-networks with symmetric architectures, that are connected by our proposed \emph{bidirectional projection module (BPM)}. Via the \emph{BPM}, complementary 2D and 3D information can interact with each other in multiple architectural levels, such that advantages in these two visual domains can be combined for better scene recognition. Extensive quantitative and qualitative experimental evaluations show that joint reasoning over 2D and 3D visual domains can benefit both 2D and 3D scene understanding simultaneously. Our \emph{BPNet} achieves top performance on the ScanNetV2 benchmark for both 2D and 3D semantic segmentation. Code is available at \url{https://github.com/wbhu/BPNet}.

研究の動機と目的

• 2次元-3次元シーン理解における単方向統合の制限を克服し、2次元および3次元特徴間の双方向的相互作用を可能にすること。
• 2次元画像（テクスチャ）と3次元ポイントクラウド（幾何）の補完的情報を活用して、統合的シーン認識を向上させること。
• 複数のアーキテクチャレベルで2次元および3次元推論を統合できるスケーラブルでエンドツーエンドのフレームワークを開発すること。
• 双方向的特徴フローが2次元および3次元のセマンティックセグメンテーション性能の向上に寄与することを実証すること。
• 完全な3次元シーンにとどまらず、2.5次元RGB-Dデータへの一般化を検証すること。

提案手法

• 2次元および3次元ブランチの両方のバランスの取れた特徴学習を確保するため、対称的なU-Netベースのアーキテクチャを設計する。
• 複数のピラミッドレベルで2次元および3次元特徴マップ間の学習可能な投影リンクを確立するため、双方向投影モジュール（BPM）を導入する。
• BPMが学習したリンク行列を用いて、2次元特徴を3次元空間に、逆に3次元特徴を2次元空間に双方向に特徴転送する。
• 粗いスケールから細かいスケールへの補完的2次元および3次元特徴の統合を実現するため、BPMを複数のデコーダレベルに適用する。
• 2次元のマルチビュー画像と3次元ポイントクラウドを入力とし、3次元処理用に深度マップを3次元ポイントクラウドに変換する。
• 2次元および3次元のセマンティックセグメンテーションタスクの両方で交差エントロピー損失を用いて、ネットワーク全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 2次元および3次元表現間の双方向的特徴相互作用は、単方向統合を上回る統合的シーン理解を実現できるか？
• RQ2 BPMによる多段階的・粗〜細かいスケールの特徴統合は、2次元および3次元のセマンティックセグメンテーション性能にどのように影響を与えるか？
• RQ3 統合学習フレームワークにおいて、3次元幾何が2次元セグメンテーションをどの程度向上させられ、逆に2次元情報が3次元セグメンテーションにどの程度寄与するか？
• RQ4 提案されたBPNetは、完全な3次元シーンにとどまらず、NYUv2のような2.5次元RGB-Dデータにも一般化可能か？
• RQ5 2次元ビューの最適数およびボクセルサイズは、2次元-3次元統合性能を最大化するためにどの程度か？

主な発見

• BPNetは、2cmボクセルサイズを用いてScanNetV2で2次元mIoU 71.9%、3次元mIoU 73.9%を達成し、単一モダリティおよびベースライン統合手法をすべて上回った。
• 1つの2次元ビューのみを用いても、BPNetは最高の2次元mIoU（66.5%）を達成しており、最小限の2次元入力でも3次元ガイドの恩恵を受けることが示された。
• 3つの2次元ビューまで増加させることで3次元mIoUが上昇し、ピークは3つのビューで70.6%に達した。これは、冗長性が現れるまでの最適な情報獲得が可能であることを示唆している。
• ボクセルサイズを5cmから2cmに減少させることで、3次元のみのベースラインでは3次元mIoUが5.9ポイント上昇（68.0% → 72.1%）、BPNetと組み合わせると2次元mIoUが10.4ポイント上昇した。
• NYUv2では、BPNetが73.5%の高密度ピクセル分類精度を達成し、3DMV（71.2%）および他のRGB-Dベースラインを上回り、2.5次元データへの強力な一般化能力を示した。
• 定性的な結果では、双方向的特徴精錬のおかげで2次元セグメンテーションの境界が明確になり、3次元セグメンテーションでは形状が似た物体（例：壁 vs. ピクトチャ）の区別が改善された。