[論文レビュー] Are We Hungry for 3D LiDAR Data for Semantic Segmentation? A Survey and Experimental Study

Biao Gao, Yancheng Pan+3 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Neural Network Applications参考文献 220被引用数 4

ひとこと要約

本稿は、3D LiDAR意味セグメンテーションにおけるデータ不足問題を調査し、S3DIS、Semantic3D、SemanticKITTIの3つのデータセットにおけるデータサイズ、多様性、ドメインギャップを分析している。長尾分布、限られたシーンの多様性、顕著なドメインギャップがモデルの汎化性能を阻害していることが判明し、今後の研究における継続的なデータ不足課題に対処するため、改善されたデータ指標、ドメインに配慮した学習、標準化されたカテゴリ定義の導入を提言している。

ABSTRACT

3D semantic segmentation is a fundamental task for robotic and autonomous driving applications. Recent works have been focused on using deep learning techniques, whereas developing fine-annotated 3D LiDAR datasets is extremely labor intensive and requires professional skills. The performance limitation caused by insufficient datasets is called data hunger problem. This research provides a comprehensive survey and experimental study on the question: are we hungry for 3D LiDAR data for semantic segmentation? The studies are conducted at three levels. First, a broad review to the main 3D LiDAR datasets is conducted, followed by a statistical analysis on three representative datasets to gain an in-depth view on the datasets' size and diversity, which are the critical factors in learning deep models. Second, a systematic review to the state-of-the-art 3D semantic segmentation is conducted, followed by experiments and cross examinations of three representative deep learning methods to find out how the size and diversity of the datasets affect deep models' performance. Finally, a systematic survey to the existing efforts to solve the data hunger problem is conducted on both methodological and dataset's viewpoints, followed by an insightful discussion of remaining problems and open questions To the best of our knowledge, this is the first work to analyze the data hunger problem for 3D semantic segmentation using deep learning techniques that are addressed in the literature review, statistical analysis, and cross-dataset and cross-algorithm experiments. We share findings and discussions, which may lead to potential topics in future works.

研究の動機と目的

• 3D LiDAR意味セグメンテーションの深層学習モデルが、訓練データが不十分または不均衡であるためにデータ不足に苦しむかどうかを調査すること。
• 統計的分析を通じて、主な3D LiDARデータセット（S3DIS、Semantic3D、SemanticKITTI）のサイズ、多様性、分布特性を分析すること。
• データセットのサイズと多様性が、最先端の深層学習モデルの3D意味セグメンテーション性能に与える影響を評価すること。
• データ不足問題に対する既存の手法的およびデータセットレベルの解決策を調査し、今後の研究における未解決課題を特定すること。
• 実世界の展開における耐障害性を向上させるために、標準化されたカテゴリ定義、ドメインギャップ指標、不確実性を考慮したモデルを提唱すること。

提案手法

• データサイズ、クラス分布、シーンの多様性に注目して、3D LiDARデータセットの包括的サーベイを実施した。
• 長尾クラス分布と空間的不均衡を定量化するために、3つの代表的データセット（S3DIS、Semantic3D、SemanticKITTI）に対して統計的分析を実施した。
• データ不足下での汎化性能を評価するために、3つの最先端の深層学習モデル（例：PointNet++、PointConv、Point-NeXt）を用いて、クロスデータセット学習とテストを実施した。
• 1つのデータセットで学習し、別のデータセットでテストするクロスデータセット実験を実施し、ドメインギャップの影響を明らかにした。
• データ拡張、自己教師型学習、ドメイン適応などの手法的アプローチに加え、データセットの整備戦略についても調査した。
• 定量的ドメインギャップ指標と標準化されたカテゴリ定義の必要性を提言し、信頼性のあるモデル評価とデータセット共有を可能にする。

実験結果

リサーチクエスチョン

• RQ1 現在の3D LiDARデータセットは、どの程度長尾クラス分布と空間的不均衡を示しており、それがモデルの汎化性能を阻害しているか？
• RQ2 データセット内およびデータセット間のシーンの多様性は、3D意味セグメンテーションにおける深層学習モデルの性能と耐障害性にどのように影響するか？
• RQ3 データセット間のドメインギャップがモデルの汎化性能に与える影響は何か？また、複数のデータセットを混合して学習することで性能が向上するか？
• RQ4 データ不足を緩和するための現在の手法的およびデータセットレベルの戦略は何か？それらの制限要因は何か？
• RQ5 実世界応用における強固な意味セグメンテーションを実現するため、標準化・スケーラブルで多様な3D LiDARデータセットを構築する上で、残された未解決問題は何か？

主な発見

• 3D LiDARデータセットは深刻な長尾クラス分布を示しており、センサーの視点に近い「道路」などの優勢クラスに属する点の割合が非常に高い。
• 人気があるものの、S3DIS、Semantic3D、SemanticKITTIは、内部の多様性が不十分で、データセット間の差が顕著であり、モデルの汎化性能を制限している。
• 複数のデータセットを混合して学習しても、それらの間の顕著なドメインギャップのため、モデルの精度が必ずしも向上しない。
• 顕著なドメインギャップを有するデータセットでモデルをテストすると、性能が著しく低下し、ベンチマーク評価の信頼性が損なわれる。
• 遮蔽、疎なサンプリング、オブジェクトタイプ間の機能的類似性といった、感覚的・意味的ギャップが、一貫したアノテーションと汎化の実現に根本的な課題をもたらしている。
• 効果的なデータセット共有とモデル評価を可能にするために、標準化されたカテゴリ定義と定量的ドメインギャップ指標の導入が急務である。