[論文レビュー] Deep Learning Based 3D Segmentation: A Survey

Yong He, Hongshan Yu+5 more|arXiv (Cornell University)|Mar 9, 2021

3D Shape Modeling and Analysis参考文献 172被引用数 44

ひとこと要約

この調査は、RGB-D、投影画像、ボクセル、ポイントクラウド、メッシュ、3D動画など、すべてのデータモダリティに跨る3Dセグメンテーションの深層学習手法を網羅的にレビューし、アーキテクチャ、データセット、今後の方向性を分析します。

ABSTRACT

3D segmentation is a fundamental and challenging problem in computer vision with applications in autonomous driving and robotics. It has received significant attention from the computer vision, graphics and machine learning communities. Conventional methods for 3D segmentation, based on hand-crafted features and machine learning classifiers, lack generalization ability. Driven by their success in 2D computer vision, deep learning techniques have recently become the tool of choice for 3D segmentation tasks. This has led to an influx of many methods in the literature that have been evaluated on different benchmark datasets. Whereas survey papers on RGB-D and point cloud segmentation exist, there is a lack of a recent in-depth survey that covers all 3D data modalities and application domains. This paper fills the gap and comprehensively surveys the recent progress in deep learning-based 3D segmentation techniques. We cover over 220 works from the last six years, analyze their strengths and limitations, and discuss their competitive results on benchmark datasets. The survey provides a summary of the most commonly used pipelines and finally highlights promising research directions for the future.

研究の動機と目的

• RGB-D, projected images, voxel, point clouds, meshes, 3D videos のすべての3Dデータモダリティを横断した、深層学習技術の統合的な概要を提供する。
• 3Dセグメンテーションにおいて使用される共通のビルディングブロック、畳み込み核、アーキテクチャを分析し、それらの長所と限界を論じる。
• ベンチマークデータセットと評価指標を要約し、方法間で公正な比較を可能にする。
• 現在の課題を特定し、3Dセグメンテーションの将来研究の有望な方向性を提案する。

提案手法

• 過去5年間に焦点を当てた3Dセグメンテーションの深層学習に関する代表的な論文を180件以上調査する。
• データ表現とネットワークアーキテクチャ（RGB-D、投影画像、ボクセル、点群ベース、3D動画など）で手法を分析・分類する。
• データエンコーディング、フュージョン戦略、および後処理手順（例：CRF、GNN、トランスフォーマー）を含む典型的なセグメンテーションパイプラインを論じる。
• 共通の3Dセグメンテーションデータセットでのベンチマーク比較を提供し、アプローチの長所/短所を統合する。
• 3Dセグメンテーションの新たな課題と将来の研究方向性を強調する。

実験結果

リサーチクエスチョン

• RQ1 異なるデータ表現（RGB-D、ボクセル、点群、メッシュ、3D動画）間で3Dセグメンテーション手法の相対的な利点と制限は何か？
• RQ2 一般的なアーキテクチャの選択（例：MLP/PointNet系、グラフネット、トランスフォーマー）は、性能と効率性にどのように影響するか？
• RQ3 どのデータセットと評価指標が実世界の性能を最もよく反映し、方法はこれらのベンチマークでどのように比較されるのか？
• RQ4 深層学習ベースの3Dセグメンテーションにおける主要な未解決課題と将来の有望な方向性は何か？

主な発見

• 過去5年間の180件超の研究をカバーし、それらの長所と限界を分析している。
• 主要なすべての3Dデータモダリティにわたる3Dセグメンテーション手法の包括的な比較を提供する。
• 本論文は、データ表現、フュージョン戦略、後処理技術を含む典型的なセグメンテーションパイプラインを論じている。
• 将来の研究方向性として有望な領域と、ベンチマークと評価の実務的な考慮事項を特定する。