[논문 리뷰] Benchmarking Robustness of 3D Point Cloud Recognition Against Common Corruptions

J. F. Sun, Qingzhao Zhang외 4명|arXiv (Cornell University)|2022. 01. 28.

Industrial Vision Systems and Defect Detection인용 수 49

한 줄 요약

ModelNet40-C를 도입하여 3D 포인트 클라우드 인식에 대한 최초의 포괄적 오염-강건성 벤치마크를 제시하고, 15가지 오염에서 여섯 개 아키텍처를 평가하며, 간단한 증강(PointCutMix-R)과 테스트-타임 적응(TENT)이 강건성을 실질적으로 향상시킨다는 것을 보여준다.

ABSTRACT

Deep neural networks on 3D point cloud data have been widely used in the real world, especially in safety-critical applications. However, their robustness against corruptions is less studied. In this paper, we present ModelNet40-C, the first comprehensive benchmark on 3D point cloud corruption robustness, consisting of 15 common and realistic corruptions. Our evaluation shows a significant gap between the performances on ModelNet40 and ModelNet40-C for state-of-the-art (SOTA) models. To reduce the gap, we propose a simple but effective method by combining PointCutMix-R and TENT after evaluating a wide range of augmentation and test-time adaptation strategies. We identify a number of critical insights for future studies on corruption robustness in point cloud recognition. For instance, we unveil that Transformer-based architectures with proper training recipes achieve the strongest robustness. We hope our in-depth analysis will motivate the development of robust training strategies or architecture designs in the 3D point cloud domain. Our codebase and dataset are included in https://github.com/jiachens/ModelNet40-C

연구 동기 및 목표

• 안전-critical한 응용 분야에서 3D 포인트 클라우드 인식의 오염 강건성 연구의 필요성을 제기한다.
• 현실적이고 다양한 오염을 갖춘 체계적인 오염 벤치마크(ModelNet40-C)를 만든다.
• ModelNet40-C에서 대표적 아키텍처를 평가해 강건성 격차를 식별한다.
• 오염 하에서 성능 차이를 줄이는 효과적인 전략(증강 및 테스트-타임 적응)을 식별한다.
• 포인트 클라우드에 대한 강건한 아키텍처 및 학습 설계를 안내하는 실행 가능한 통찰력을 제공한다.

제안 방법

• 밀도, 노이즈, 변환 카테고리로 묶인 15가지 오염 유형을 설계하고, 각 유형은 다섯 가지 심각도 수준을 가진다.
• ModelNet40 검증 세트에 오염을 적용하고 의미 보존을 보장하여 ModelNet40-C를 구성한다.
• 표준 학습 하에 여섯 가지 대표 아키텍처(PointNet, PointNet++, DGCNN, RSCNN, PCT, SimpleView)를 평가한다.
• 다양한 데이터 증강 및 테스트-타임 적응 방법(PointCutMix-R, PointCutMix-K, PointMixup, RSMix, PGD 적대적 학습; BN, TENT)을 3,180 구성에 걸쳐 조사한다.
• 결과를 분석하여 오염 강건성을 위한 아키텍처 및 학습-타임 인사이트를 도출한다.

실험 결과

연구 질문

• RQ1 현실적 오염이 추가된 클린 ModelNet40 시나리오를 넘어서는 3D 포인트 클라우드 아키텍처의 강건성은 어느 정도인가?
• RQ2 어떤 오염 유형이 현재 아키텍처를 가장 어렵게 만들며, 강건성은 아키텍처에 따라 어떻게 달라지는가?
• RQ3 데이터 증강과 테스트-타임 적응이 오염으로 인한 성능 차이를 실질적으로 줄일 수 있는가?
• RQ4 특정 오염 계열에 대해 강건성을 내재화하는(예: Transformer 기반의) 아키텍처 설계는 어떤 것이 있는가?
• RQ5 3D 포인트 클라우드 인식의 오염 강건성을 실제로 향상시키는 실용적 전략은 무엇인가?

주요 결과

모델	ER_cor	가림	LiDAR	밀도 증가	밀도 감소	컷아웃	균일	가우시안	임펄스	업샘플링	배경	회전	전단	FFD	RBF	역_RBF
PointNet	28.3	52.3	54.9	10.5	11.6	12.0	12.4	14.4	29.1	14.0	93.6	36.8	25.4	21.3	18.6	17.8
PointNet++	23.6	54.7	66.5	16.0	10.0	10.7	20.4	16.4	35.1	17.2	18.6	27.6	13.4	15.2	16.4	15.4
DGCNN	25.9	59.2	81.0	14.1	17.3	15.4	14.6	16.6	24.9	19.1	53.1	19.1	12.1	13.1	14.5	14.0
RSCNN	26.2	51.8	68.4	16.8	13.2	13.8	24.6	18.3	46.2	20.1	18.3	29.2	17.0	18.1	19.2	18.6
PCT	25.5	56.6	76.7	11.8	14.3	14.5	12.1	13.9	39.1	17.4	57.9	18.1	11.5	12.4	13.0	12.6
SimpleView	27.2	55.5	82.2	13.7	17.2	20.1	14.5	14.2	24.6	17.7	46.8	30.7	18.5	17.0	17.9	17.2

• ModelNet40-C는 SOTA 모델의 ModelNet40과 ModelNet40-C 간에 약 3배의 오차율 차이를 드러낸다.
• 차단(Occlusion), LiDAR, 회전, 배경 노이즈가 아키텍처 전반에 걸쳐 특히 도전적이다.
• 변환-type 오염에 대해 가장 강한 강건성을 보이는 것은 변환 계열의 오염에 대해 강건한 Transformer 기반 아키텍처인 PCT이다.
• 아키텍처 간 취약성은 다르며, PointNet은 밀도에는 강하지만 전반적으로 약하고, Balloon-쿼리 기반 방법은 Background 노이즈에 대한 강건성을 제공한다.
• 데이터 증강은 일반적으로 오염 강건성을 향상시키며, PointCutMix-R이 전체적으로 가장 나은 강건성을 달성하지만(ER_corrup = 18.7%), 모든 오염에 지배적인 단일 증강은 없다.
• 테스트-타임 적응(BN, TENT)은 도움이 되나 일반적으로 데이터 증강 전략보다 성능이 떨어진다.