[논문 리뷰] Common Corruption Robustness of Point Cloud Detectors: Benchmark and Enhancement

Shuangzhi Li, Zhijie Wang외 4명|arXiv (Cornell University)|2022. 10. 12.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 빗방울, 눈, dense 안개, 센서 노이즈 등 실제 환경에서 발생하는 왜곡을 25가지의 일반적인 오염 유형과 6단계의 심각도 수준에서 시뮬레이션하여, 3차원 포인트 클라우드 객체 검출기의 물리적 특성을 고려한 최초의 벤치마크를 제안한다. 이 벤치마크를 바탕으로 저자들은 8종의 최신 3D 객체 검출기들을 평가하였으며, 현재 사용 중인 데이터 증강 및 노이즈 제거 기법들이 제한적인 강건성 향상 효과를 보임을 발견하여, 3D 검출기의 강건성 향상을 위한 새로운 기법 개발의 필요성을 강조한다.

ABSTRACT

Object detection through LiDAR-based point cloud has recently been important in autonomous driving. Although achieving high accuracy on public benchmarks, the state-of-the-art detectors may still go wrong and cause a heavy loss due to the widespread corruptions in the real world like rain, snow, sensor noise, etc. Nevertheless, there is a lack of a large-scale dataset covering diverse scenes and realistic corruption types with different severities to develop practical and robust point cloud detectors, which is challenging due to the heavy collection costs. To alleviate the challenge and start the first step for robust point cloud detection, we propose the physical-aware simulation methods to generate degraded point clouds under different real-world common corruptions. Then, for the first attempt, we construct a benchmark based on the physical-aware common corruptions for point cloud detectors, which contains a total of 1,122,150 examples covering 7,481 scenes, 25 common corruption types, and 6 severities. With such a novel benchmark, we conduct extensive empirical studies on 8 state-of-the-art detectors that contain 6 different detection frameworks. Thus we get several insight observations revealing the vulnerabilities of the detectors and indicating the enhancement directions. Moreover, we further study the effectiveness of existing robustness enhancement methods based on data augmentation and data denoising. The benchmark can potentially be a new platform for evaluating point cloud detectors, opening a door for developing novel robustness enhancement methods.

연구 동기 및 목표

• 실제 환경 오염 상황에서의 포인트 클라우드 검출기 강건성 평가를 위한 종합적이고 대규모의 벤치마크가 부족한 문제를 해결하기 위해.
• 우리가 경험하는 날씨, 센서 노이즈, 환경적 요인 등으로 인한 라이다 포인트 클라우드의 물리적으로 타당한 왜곡을 시뮬레이션하기 위해.
• 다양한 오염 상황에서 8종의 최신 3D 객체 검출기의 취약점을 실증적으로 분석하기 위해.
• 기존의 강건성 향상 기법들, 예를 들어 데이터 증강 및 노이즈 제거 기법의 효과를 평가하기 위해.
• 향후 강건한 3D 객체 검출 연구를 위한 새로운 벤치마크 플랫폼을 제공하기 위해.

제안 방법

• 라이다 시스템의 물리적 영상 원리를 기반으로 하여 실제적인 포인트 클라우드 오염을 생성하기 위한 물리적 특성 고려 시뮬레이션 방법을 제안한다.
• 7,481개의 시나리오, 25종의 오염 유형, 6단계의 심각도 수준을 포함하여 총 1,122,150개의 예제를 포함하는 대규모 벤치마크를 구축한다.
• 6가지의 다른 검출 프레임워크를 활용하여 8종의 최신 3D 검출기를 이 벤치마크를 기반으로 평가한다.
• 두 가지 강건성 향상 전략을 구현한다: 물리적 특성 고려 데이터 증강(PA-DA)과 KNN 기반 이상치 제거(KNN-RO).
• 검출기 성능을 정량화하기 위해 평균 평균 정확도(mAP)와 오염 평가 정확도(CE_AP)를 지표로 사용한다.

Figure 1 : Feature visualization of the snow classification by T-SNE

실험 결과

연구 질문

• RQ1 최신의 포인트 클라우드 검출기는 다양한 실제적이고 물리적으로 타당한 오염 상황에서 어떻게 성능을 발휘하는가?
• RQ2 비, 눈, 안개, 센서 노이즈와 같은 일반적인 오염 상황에 노출되었을 때 현재의 3D 검출기들이 보이는 주요 취약점은 무엇인가?
• RQ3 기존의 데이터 증강 및 노이즈 제거 기법들은 이러한 오염 상황에 대비한 검출기 강건성 향상에 얼마나 효과적인가?
• RQ4 자동차와 보행자 등의 다른 객체 유형 간에 강건성 향상 효과는 일관된가?
• RQ5 제안된 벤치마크는 향후 강건성 향상 연구의 평가 및 지침을 위한 신뢰할 수 있는 플랫폼으로 기능할 수 있는가?

주요 결과

• BtcDet와 SE-SSD는 오염 상황에서 검출 정확도가 크게 떨어지며, FD가 4% 이상 증가하여 높은 취약성을 보임.
• KNN 기반 이상치 제거(KNN-RO)는 자동차 검출의 강건성 향상에 실패하여 평균 CE_AP가 0.17% 감소하고, 보행자 검출의 경우는 약간의 향상만을 보임.
• 물리적 특성 고려 데이터 증강(PA-DA)은 자동차 검출에서 평균 CE_AP를 0.16% 향상시키지만, 이는 제한적인 효과를 의미함.
• PA-DA와 KNN-RO의 조합은 자동차 검출의 평균 CE_AP를 13.38%로 끌어올리지만, 여전히 낮은 수준이므로 강건성 향상이 부족함.
• PointRCNN과 VoTr-SSD와 같은 검출기들은 PA-DA를 적용했을 때 최대 2.46%의 AP 향상을 보이며, 특정 아키텍처에선 일부 유용성이 있음.
• 벤치마크는 현재의 강건성 향상 기법들이 대부분 효과적이지 않음을 드러내며, 향후 검출기 강건성 향상을 위한 더 집중적이고 목표 지향적인 접근이 필요함을 시사함.

Figure 2 : Feature visualization of the fog classification by T-SNE