[論文レビュー] Are We Hungry for 3D LiDAR Data for Semantic Segmentation

Biao Gao, Yancheng Pan+3 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Neural Network Applications参考文献 112被引用数 7

ひとこと要約

本調査は、3次元LiDAR意味セグメンテーションにおけるデータ過多問題を調査し、限られたアノテート済みデータがモデル性能に与える影響を分析する。既存のデータセットと手法をレビューし、実験を通じてデータ不足の影響を評価し、分野特有のアプローチと一般用途のアプローチの両方からの解決策を統合し、3次元認識におけるデータ効率に関する今後の研究の洞察を提供する。

ABSTRACT

3D LiDAR semantic segmentation is a pivotal task that is widely involved in many applications, such as autonomous driving and robotics. Studies of 3D LiDAR semantic segmentation have recently achieved considerable development, especially in terms of deep learning strategies. However, these studies usually rely heavily on considerable fine annotated data, while point-wise 3D LiDAR datasets are extremely insufficient and expensive to label. The performance limitation caused by the lack of training data is called the data hungry effect. This survey aims to explore whether and how we are hungry for 3D LiDAR data for semantic segmentation. Thus, we first provide an organized review of existing 3D datasets and 3D semantic segmentation methods. Then, we provide an in-depth analysis of three representative datasets and several experiments to evaluate the data hungry effects in different aspects. Efforts to solve data hungry problems are summarized for both 3D LiDAR-focused methods and general-purpose methods. Finally, insightful topics are discussed for future research on data hungry problems and open questions.

研究の動機と目的

• 十分なアノテート済み3次元LiDARデータが不足している場合、意味セグメンテーションの性能にそれが及ぼす影響を調査すること。
• 既存の3次元LiDARデータセットおよび最先端の意味セグメンテーション手法について包括的なレビューを提供すること。
• 異なるデータセットおよびモデルアーキテクチャを対象に、データ過多効果を実験的に評価すること。
• 3次元LiDAR意味セグメンテーションにおけるデータ不足を緩和する既存の技術を要約・分類すること。
• データ効率の向上に向けた未解決の研究課題と今後の方向性を特定すること。

提案手法

• 分析の基盤を築くために、3次元LiDARデータセットおよび意味セグメンテーション手法を体系的にレビューすること。
• 3つの代表的データセットを対象に、さまざまなデータスケール下での性能低下を評価する詳細な実験を実施すること。
• 訓練データ量の減少に伴うモデル精度の測定を含むアブレーションスタディを通じて、データ過多効果を分析すること。
• 既存のデータ効率向上手法を3次元LiDAR特有のアプローチと一般用途のアプローチに分類・要約すること。
• 自己教師あり学習、データ拡張、弱教師あり学習などの技術を3次元セグメンテーションの文脈で評価すること。
• 実験結果から得られた知見を統合し、アノテーション依存性を低減する有効な戦略を強調すること。

実験結果

リサーチクエスチョン

• RQ1 訓練データが限られている場合、3次元LiDAR意味セグメンテーションモデルの性能はどの程度低下するか？
• RQ2 大規模なアノテート済み3次元LiDARデータの必要性を低減するのに最も効果的なデータ効率向上技術は何か？
• RQ3 異なる3次元LiDARデータセットは、低データ環境下でのデータ効率およびモデル一般化性能においてどのように比較されるか？
• RQ4 現在のデータ効率向上手法が3次元意味セグメンテーションにおいて抱える主な制限は何か？
• RQ5 3次元認識におけるデータ過多問題に対処するにあたり、未解決の研究課題は何か？

主な発見

• 3次元LiDAR意味セグメンテーションにおいて、データ過多効果は顕著であり、訓練データが不足しているとモデル性能が著しく低下することが判明した。
• 3つの代表的データセットを用いた実験から、あるデータ閾値を超えると性能向上の割合が急速に減少することが示され、データ量の増加によるリターンの逓減が確認された。
• 自己教師あり学習および弱教師あり学習手法は、アノテーション依存性を低減しつつ、競争力のある精度を維持する可能性を示した。
• データ拡張およびカリキュラム学習戦略は、特に事前学習と組み合わせた場合、低データ条件下での一般化性能を向上させた。
• 幾何的プリオンやスパarsityを活用する分野特有のデータ効率向上手法は、低データ環境下で一般用途のベースラインを上回る性能を示した。
• 進展は見られたが、特に3次元シーンにおけるレアクラスやまれに出現するクラスにおいて、依然としてデータ効率の大きなギャップが存在する。