[論文レビュー] Benchmarking Robustness of 3D Point Cloud Recognition Against Common Corruptions

J. F. Sun, Qingzhao Zhang+4 more|arXiv (Cornell University)|Jan 28, 2022

Industrial Vision Systems and Defect Detection被引用数 49

ひとこと要約

ModelNet40-Cを提案する。3D点群認識の腐敗耐性に関する初の包括的ベンチマークであり、15種類の腐敗下で6つのアーキテクチャを評価し、シンプルなデータ拡張（PointCutMix-R）とテスト時適応（TENT）を組み合わせることで頑健性が大幅に向上することを示す。

ABSTRACT

Deep neural networks on 3D point cloud data have been widely used in the real world, especially in safety-critical applications. However, their robustness against corruptions is less studied. In this paper, we present ModelNet40-C, the first comprehensive benchmark on 3D point cloud corruption robustness, consisting of 15 common and realistic corruptions. Our evaluation shows a significant gap between the performances on ModelNet40 and ModelNet40-C for state-of-the-art (SOTA) models. To reduce the gap, we propose a simple but effective method by combining PointCutMix-R and TENT after evaluating a wide range of augmentation and test-time adaptation strategies. We identify a number of critical insights for future studies on corruption robustness in point cloud recognition. For instance, we unveil that Transformer-based architectures with proper training recipes achieve the strongest robustness. We hope our in-depth analysis will motivate the development of robust training strategies or architecture designs in the 3D point cloud domain. Our codebase and dataset are included in https://github.com/jiachens/ModelNet40-C

研究の動機と目的

• 安全 critical アプリケーションにおける3D点群認識の腐敗耐性の研究を動機づける。
• 現実的で多様な腐敗を含む体系的な腐敗ベンチマーク（ModelNet40-C）を作成する。
• ModelNet40-C上で代表的なアーキテクチャを評価し、頑健性のギャップを特定する。
• 腐敗下での性能ギャップを縮小する効果的な戦略（データ拡張とテスト時適応）を特定する。
• 点群の頑健なアーキテクチャ設計とトレーニング設計を導く実用的な洞察を提供する。

提案手法

• 密度・ノイズ・変換の3カテゴリに分けて、各カテゴリ5つの深刻度レベルを含む15種の腐敗を設計する。
• ModelNet40の検証セットに腐敗を適用し、意味的な破壊を避けつつModelNet40-Cを構築する。
• 標準的な訓練下で、代表的な6つのアーキテクチャ（PointNet, PointNet++, DGCNN, RSCNN, PCT, SimpleView）を評価する。
• データ拡張とテスト時適応の手法を幅広く調査する（PointCutMix-R, PointCutMix-K, PointMixup, RSMix, PGD敵対的訓練；BN, TENT）を3,180件の設定で評価する。
• 腐敗耐性のためのアーキテクチャ設計と訓練時の洞察を導くために結果を分析する。

実験結果

リサーチクエスチョン

• RQ1 現実的な腐敗を含むクリーンなModelNet40条件を超えた場合、一般的な3D点群アーキテクチャはどれだけ頑健か？
• RQ2 どの腐敗タイプが現在のアーキテクチャにとって最も困難で、頑健性はアーキテクチャによってどう異なるのか？
• RQ3 データ拡張とテスト時適応は、腐敗による性能ギャップを実質的に縮小できるか？
• RQ4 どのアーキテクチャ設計（例：Transformersベース）が、特定の腐敗ファミリーに対して本質的に頑健さを付与するのか？
• RQ5 3D点群認識の腐敗耐性を実際に向上させる実用的な戦略は何か？

主な発見

モデル	ER_cor	オクルージョン	LiDAR	密度増加	密度減少	カットアウト	一様	ガウス	インパルス	アップサンプリング	背景	回転	せん断	FFD	RBF	Inv_RBF
PointNet	28.3	52.3	54.9	10.5	11.6	12.0	12.4	14.4	29.1	14.0	93.6	36.8	25.4	21.3	18.6	17.8
PointNet++	23.6	54.7	66.5	16.0	10.0	10.7	20.4	16.4	35.1	17.2	18.6	27.6	13.4	15.2	16.4	15.4
DGCNN	25.9	59.2	81.0	14.1	17.3	15.4	14.6	16.6	24.9	19.1	53.1	19.1	12.1	13.1	14.5	14.0
RSCNN	26.2	51.8	68.4	16.8	13.2	13.8	24.6	18.3	46.2	20.1	18.3	29.2	17.0	18.1	19.2	18.6
PCT	25.5	56.6	76.7	11.8	14.3	14.5	12.1	13.9	39.1	17.4	57.9	18.1	11.5	12.4	13.0	12.6
SimpleView	27.2	55.5	82.2	13.7	17.2	20.1	14.5	14.2	24.6	17.7	46.8	30.7	18.5	17.0	17.9	17.2

• ModelNet40-Cは、SOTAモデルでModelNet40とModelNet40-Cの間に約3倍のエラー率ギャップがあることを明らかにする。
• Occlusion（遮蔽）、LiDAR、回転、背景ノイズがアーキテクチャ全体で特に難易度が高い。
• Transformerベースのアーキテクチャ（PCT）は、変換タイプの腐敗に対して最も頑健である。
• 異なるアーキテクチャは脆弱性が異なる；PointNetは密度には強いが全体的には弱く、Ball-queryベースの手法は背景ノイズに対して頑健性を示す。
• データ拡張は一般に腐敗耐性を向上させ、PointCutMix-Rが総合的な頑健性（ER_corrup = 18.7%）で最も良いが、単一の拡張がすべての腐敗に支配的とはならない。
• テスト時適応（BN, TENT）は有用だが、データ拡張戦略に一般的には及ばない。