[論文レビュー] Learning Multi-View Aggregation In the Wild for Large-Scale 3D Semantic Segmentation

Damien Robert, Bruno Vallet+1 more|arXiv (Cornell University)|Apr 15, 2022

3D Surveying and Cultural Heritage被引用数 5

ひとこと要約

本論文は、カラーリングやメッシュ化、深度マップを必要とせず、3Dポイントの視認条件を活用して複数の画像および3Dポイントクラウドからの特徴を統合するエンド・トゥ・エンドで学習可能なマルチビュー統合モデルを提案する。本手法は、生のスキャンデータ、画像、カメラポーズのみを用いて、S3DIS（74.7 mIoU）およびKITTI-360（58.3 mIoU）で最先端の性能を達成した。

ABSTRACT

Recent works on 3D semantic segmentation propose to exploit the synergy between images and point clouds by processing each modality with a dedicated network and projecting learned 2D features onto 3D points. Merging large-scale point clouds and images raises several challenges, such as constructing a mapping between points and pixels, and aggregating features between multiple views. Current methods require mesh reconstruction or specialized sensors to recover occlusions, and use heuristics to select and aggregate available images. In contrast, we propose an end-to-end trainable multi-view aggregation model leveraging the viewing conditions of 3D points to merge features from images taken at arbitrary positions. Our method can combine standard 2D and 3D networks and outperforms both 3D models operating on colorized point clouds and hybrid 2D/3D networks without requiring colorization, meshing, or true depth maps. We set a new state-of-the-art for large-scale indoor/outdoor semantic segmentation on S3DIS (74.7 mIoU 6-Fold) and on KITTI-360 (58.3 mIoU). Our full pipeline is accessible at https://github.com/drprojects/DeepViewAgg, and only requires raw 3D scans and a set of images and poses.

研究の動機と目的

• 特殊なセンサーや前処理ステップに依存せずに、大規模シーンにおけるマルチビュー画像と3Dポイントクラウドの統合を解決すること。
• 従来のハイブリッド2D/3D手法が画像選択にヒューリスティクスを用い、特徴統合に均一なプーリングを採用するという制限を克服すること。
• 既知のポーズを持つコアリーグされた画像と生の3Dポイントクラウドのみを用いて、大規模な屋内および屋外シーンの効果的なセマンティックセグメンテーションを可能にすること。
• 任意の数のビューごとのポイントに対応できるスケーラブルでGPU加速されたパイプラインを構築すること。
• 視認条件そのものが、幾何的または放射的特徴を注意スコアリングに組み込まない場合でも、効果的なアテンションベースの特徴統合に十分であることを示すこと。

提案手法

• 深度マップ、メッシュ化、カラーリングを回避するため、3Dポイントクラウドとカメラポーズのみを用いてポイントピクセルマッピングを構築する。
• 各3Dポイントの複数の画像における視認条件（距離、角度など）に基づいて、2D特徴を選択・統合する学習可能なアテンションメカニズムを用いる。
• 標準的な2Dおよび3Dバックボーンネットワークの間にアテンションベースの統合モジュールをプラグインとして統合し、エンド・トゥ・エンド学習を可能にする。
• 3Dポイントを球状またはシリンダ状の近傍にグループ化し、可視性に基づいて関連する画像を割り当てる動的バッチ処理戦略を実装する。
• 各ビューからの特徴フローを制御するゲーミングメカニズムを適用し、不要またはノイズの多い入力をモデルが抑制できるようにする。
• 比較のためのベースラインとして特徴ごとの最大プーリングを用いるが、視認条件に基づく学習可能なアテンションが優れた性能を示すことを示す。

実験結果

リサーチクエスチョン

• RQ1 注意スコアリングに幾何的または放射的特徴を組み込まない場合でも、視認条件そのものが、3Dセマンティックセグメンテーションにおける効果的なマルチビュー特徴統合を導くのに十分であるか。
• RQ2 ヒューリスティクスに基づく固定数のビューからの均一なプーリングに比べて、学習可能なアテンションメカニズムが特徴統合をどの程度改善できるか。
• RQ3 カラーリングを避けて生のRGB画像と3Dスキャンのみを用いる場合、ハイブリッド2D/3Dモデルと純粋な3Dモデルの性能はどの程度異なるか。
• RQ4 画像解像度、3Dポイントクラウド解像度、2Dデータセットでの事前学習が、大規模3Dセグメンテーションに与える影響は何か。
• RQ5 メッシュ再構築や真の深度マップを必要とせず、S3DISやKITTI-360などの実世界データセットで最先端の結果を達成できるか。

主な発見

• 提案手法は6分割S3DISベンチマークで74.7のmIoUという新たな最先端性能を達成し、3D単体モデルおよびハイブリッド2D/3Dモデルを上回った。
• KITTI-360ではテストスプリットで58.3 mIoUを達成し、カラーリングされたポイントクラウドや深度マップを一切使用せず、新たな最先端性能を樹立した。
• 画像特徴と統合モジュールのみを用いた純粋な2Dベースのモデルが、S3DISではXYZRGBベースラインでさえも上回った。これは、画像が3Dセグメンテーションにおいて価値ある情報を提供することを示している。
• 画像を2倍にダウンサンプリングすると性能が著しく低下し、高解像度の画像特徴が最適な結果を得るために不可欠であることが示された。
• 2Dエンコーダーをオープンアクセスの2Dデータセットで事前学習すると、mIoUが最大7ポイント向上し、大規模2Dアノテーションを活用する利点が顕著に現れた。
• ゲーミングメカニズムを削除するか、1つの特徴グループのみを用いると、それぞれ3点および4.8点の性能低下が生じた。これは、適応的特徴選択とマルチスケール処理の重要性を示している。