[논문 리뷰] Benchmarking and Analyzing Point Cloud Classification under Corruptions

Jiawei Ren, Liang Pan외 1명|arXiv (Cornell University)|2022. 02. 07.

3D Surveying and Cultural Heritage인용 수 31

한 줄 요약

이 논문은 점군 분류를 위한 포괄적 오염 벤치마크인 ModelNet-C를 소개하고, 아키텍처 전반에 걸친 견고성을 분석하며, 견고성 향상을 위한 RPC와 WOLFMix를 제안한다.

ABSTRACT

3D perception, especially point cloud classification, has achieved substantial progress. However, in real-world deployment, point cloud corruptions are inevitable due to the scene complexity, sensor inaccuracy, and processing imprecision. In this work, we aim to rigorously benchmark and analyze point cloud classification under corruptions. To conduct a systematic investigation, we first provide a taxonomy of common 3D corruptions and identify the atomic corruptions. Then, we perform a comprehensive evaluation on a wide range of representative point cloud models to understand their robustness and generalizability. Our benchmark results show that although point cloud classification performance improves over time, the state-of-the-art methods are on the verge of being less robust. Based on the obtained observations, we propose several effective techniques to enhance point cloud classifier robustness. We hope our comprehensive benchmark, in-depth analysis, and proposed techniques could spark future research in robust 3D perception.

연구 동기 및 목표

• 센서 및 처리 오염 하에서 실제 환경 배포를 위한 강건한 점군 분류를 촉진한다.
• ModelNet40 기반 평가를 위한 표준화되고 포괄적인 오염 테스트 스위트를 제공한다.
• 강건성을 위해 광범위한 아키텍처, 사전 학습, 증강 기법을 체계적으로 벤치마크한다.
• 오염 견고성을 향상시키는 설계 원칙과 증강 전략을 식별한다.

제안 방법

• 일곱 가지 원자 오염(Add Global, Add Local, Drop Global, Drop Local, Rotate, Scale, Jitter)의 분류체계를 정의한다.
• ModelNet-C를 ModelNet40 테스트 세트에 이 오염들에 대한 심각도 수준을 적용하여 생성한다.
• 오염 시나리오 하에서 평균 오염 오류(mCE)로 14개의 방법(9개의 아키텍처, 3개의 사전 학습, 2개의 증강)을 평가한다.
• 아키텍처 구성 요소(로컬 연산, 고급 그룹화, 특징 추출기)의 견고성에 대한 영향 분석.
• 자기지도 학습 사전 학습(OcCo, Point-BERT)과 증강 전략(PointMixUp, RSMix, PointWOLF)이 견고성에 미치는 영향을 검토한다.
• RPC (Robust Point Cloud Classifier)와 WOLFMix 증강을 견고성 향상 접근법으로 제안한다.

실험 결과

연구 질문

• RQ1 현실적 오염에 대해 객체 수준, 센서 수준, 처리 수준의 아티팩트에 걸쳐 현재의 점군 분류기는 얼마나 견고한가?
• RQ2 오염에 대한 견고성을 가장 크게 개선하는 아키텍처 선택과 학습 증강은 무엇인가?
• RQ3 ModelNet-C와 같은 표준화된 오염 벤치마크가 깨끗한 데이터에서 드러나지 않는 견고성의 차이를 밝힐 수 있는가?
• RQ4 자기지도 사전학습과 새로운 증강 전략이 아키텍처 간 견고성 이점을 전달하는가?
• RQ5 견고성을 위한 아키텍처 설계와 증강 간의 상호작용(시너지)은 무엇인가?

주요 결과

• ModelNet-C는 다섯 가지 심각도 수준에 걸쳐 일곱 가지 원자 오염을 포괄하는 포괄적이고 표준화된 모음을 제공합니다.
• 깨끗한 데이터에서의 최첨단 모델은 일반적인 오염하에서 상당한 취약성을 보이며(mCE 분산이 무시할 수 없음)
• k-NN이 있는 3D 표현, 주파수 그룹화, 자기 주의(RPC)와 같은 아키텍처 선택은 가장 우수한 단독 견고성을 보이며(최저 mCE).
• 고급 그룹화(주파수 및 커브)는 일관되게 견고성을 향상시키지만 계산 오버헤드를 증가시킨다.
• 자기지도 사전학습은 특정 오염에 대해 표적화된 견고성 이점을 제공한다(예: OcCo를 이용한 회전; Point-BERT를 이용한 로컬 차폐).
• 두 단계 증강(WOLFMix, 먼저 변형한 다음 혼합)은 아키텍처 전반에 걸쳐 상당한 견고성 이득을 제공하며, 시너지는 모델에 따라 다르다.