[論文レビュー] Benchmarking and Analyzing Point Cloud Classification under Corruptions

Jiawei Ren, Liang Pan+1 more|arXiv (Cornell University)|Feb 7, 2022

3D Surveying and Cultural Heritage被引用数 31

ひとこと要約

この論文は ModelNet-C を紹介し、点群分類の包括的な壊れデータベンチマークを提供し、アーキテクチャ全体での頑健性を分析し、RPC と WOLFMix を提案して頑健性を向上させる。

ABSTRACT

3D perception, especially point cloud classification, has achieved substantial progress. However, in real-world deployment, point cloud corruptions are inevitable due to the scene complexity, sensor inaccuracy, and processing imprecision. In this work, we aim to rigorously benchmark and analyze point cloud classification under corruptions. To conduct a systematic investigation, we first provide a taxonomy of common 3D corruptions and identify the atomic corruptions. Then, we perform a comprehensive evaluation on a wide range of representative point cloud models to understand their robustness and generalizability. Our benchmark results show that although point cloud classification performance improves over time, the state-of-the-art methods are on the verge of being less robust. Based on the obtained observations, we propose several effective techniques to enhance point cloud classifier robustness. We hope our comprehensive benchmark, in-depth analysis, and proposed techniques could spark future research in robust 3D perception.

研究の動機と目的

• センサーと処理の劣化の下で現実世界の展開における頑健な点群分類を動機づける。
• ModelNet40ベースの評価のための標準化され、包括的な壊れデータテストスイートを提供する。
• 頑健性のために幅広いアーキテクチャ、事前学習、および拡張の体系的ベンチマークを行う。
• 壊れデータ耐性を向上させる設計原理と拡張戦略を特定する。

提案手法

• 7つの原子的な破損の分類法を定義する（Add Global, Add Local, Drop Global, Drop Local, Rotate, Scale, Jitter）。
• ModelNet-Cを作成するため、これらの破損に対して深刻度レベルを適用し、ModelNet40のテストセット上で評価する。
• Corruption scenariosで mean Corruption Error (mCE)を用いて14の手法を評価する（9つのアーキテクチャ、3つの事前学習、2つの拡張）。
• 局所的な操作、先進的なグルーピング、フィーチャライザといったアーキテクチャ要素を分析し、それらが頑健性に与える影響を評価する。
• 自己教師あり事前学習（OcCo, Point-BERT）と拡張戦略（PointMixUp, RSMix, PointWOLF）を頑健性に照らして検討する。
• RPC (Robust Point Cloud Classifier) と WOLFMix の拡張を頑健性向上のためのアプローチとして提案する。

実験結果

リサーチクエスチョン

• RQ1 現在の点群分類器は、物体レベル・センサーレベル・処理レベルの現実的な破損に対してどれくらい頑健か？
• RQ2 破損に対する頑健性を最も高めるのはどのようなアーキテクチャの選択とトレーニング拡張か？
• RQ3 ModelNet-C のような標準化された壊れデータベンチマークは、クリーンデータでは明らかでない頑健性のギャップを明らかにできるか？
• RQ4 自己教師あり事前学習と新規拡張戦略は、アーキテクチャ間で頑健性の恩恵を移転できるか？
• RQ5 頑健性のためのアーキテクチャ設計と拡張の相互作用（シナジー）は何か？

主な発見

• ModelNet-C は、七つの原子破損を五つの深刻度レベルにわたって網羅する、包括的で標準化されたスイートを提供する。
• クリーンデータ上の最先端モデルは、一般的な破損に対して顕著な脆弱性を示す（非無視できない mCE のばらつき）。
• k-NNを用いた3D表現、周波数グルーピング、自己注意（RPC）といったアーキテクチャの選択が、最良の単独頑健性（最も低い mCE）をもたらす。
• 高度なグルーピング（frequency と curve）は一貫して頑健性を向上させるが、計算オーバーヘッドを増加させる。
• 自己教師あり事前学習は、特定の破損（例：OcCoによる回転、Point-BERTによる局所的遮蔽）に対して対象を絞った頑健性の利点を提供する。
• WOLFMix は2段階の拡張（変形してから混合）、アーキテクチャを問わず顕著な頑健性向上をもたらし、シナジーはモデルによって異なる。