[논문 리뷰] On the Adversarial Robustness of Camera-based 3D Object Detection

Shaoyuan Xie, Zichao Li외 2명|arXiv (Cornell University)|2023. 01. 25.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 카메라 기반 3D 객체 검출에서의 적대적 견고성에 대한 최초의 종합적 연구를 제시한다. 픽셀 기반 및 패치 기반의 변형을 사용하여 화이트박스 및_BLK박스 공격 하에서 최첨단 모델을 평가한다. 연구 결과, BEV 기반 모델은 국소화 공격에 더 강건하며, 깊이 추정이 없는 방법은 더 강한 저항성을 보이며, 다중 프레임 시간적 입력은 적대적 영향을 크게 완화함을 발견하였다.

ABSTRACT

In recent years, camera-based 3D object detection has gained widespread attention for its ability to achieve high performance with low computational cost. However, the robustness of these methods to adversarial attacks has not been thoroughly examined, especially when considering their deployment in safety-critical domains like autonomous driving. In this study, we conduct the first comprehensive investigation of the robustness of leading camera-based 3D object detection approaches under various adversarial conditions. We systematically analyze the resilience of these models under two attack settings: white-box and black-box; focusing on two primary objectives: classification and localization. Additionally, we delve into two types of adversarial attack techniques: pixel-based and patch-based. Our experiments yield four interesting findings: (a) bird's-eye-view-based representations exhibit stronger robustness against localization attacks; (b) depth-estimation-free approaches have the potential to show stronger robustness; (c) accurate depth estimation effectively improves robustness for depth-estimation-based methods; (d) incorporating multi-frame benign inputs can effectively mitigate adversarial attacks. We hope our findings can steer the development of future camera-based object detection models with enhanced adversarial robustness.

연구 동기 및 목표

• 다양한 공격 설정 하에서 선도적인 카메라 기반 3D 객체 검출 모델의 적대적 견고성을 체계적으로 평가하기 위해.
• 청결한 벤치마크에서 높은 성능을 내는 모델이 적대적 조건 하에서도 강건성을 보이는지 조사하기 위해.
• 분류 공격과 국소화 공격 양자 모두에 대한 견고성을 향상시키는 아키텍처 및 훈련 전략을 특정하기 위해.
• 깊이 추정, 시간 모델링, 데이터 샘플링 전략이 적대적 내성에 미치는 영향을 탐색하기 위해.

제안 방법

• 픽셀 기반 변형을 위한 PGD-Adv, FGSM, C&W, AutoPGD를 사용하여 화이트박스 및 블랙박스 공격을 수행하였다.
• 기울기 최적화 및 유니버설 패치 공격을 적용하여 이동성과 가시적인 적대적 패턴 하에서의 견고성을 평가하였다.
• KITTI, nuScenes, Waymo Open Dataset와 같은 표준 벤치마크에서 청결 및 적대적 조건 하에서 모델을 평가하였다.
• 적대적 NDS( nuScenes Detection Score)와 정상 입력 및 적대적 입력 간의 BEV 특징 오차를 측정하여 견고성을 측정하였다.
• 깊이 감독, 백본 아키텍처(ResNet, VoVNet, Swin-Transformer), CBGS와 같은 훈련 전략이 적대적 견고성에 미치는 영향을 조사하였다.
• BEVDepth4D와 BEVDet4D를 사용하여 단일 프레임 공격과 다중 프레임에 걸친 연속 공격을 비교함으로써 시간적 견고성을 분석하였다.

실험 결과

연구 질문

• RQ1 최첨단 카메라 기반 3D 검출기들은 화이트박스 및 블랙박스 적대적 공격 하에서도 강건한가?
• RQ2 표현 방식의 선택(예: BEV 대 투시도)이 국소화 공격 대 분류 공격에 대한 견고성에 어떻게 영향을 미치는가?
• RQ3 정확한 깊이 추정이 깊이 추정 기반 모델의 적대적 견고성 향상에 어느 정도 기여하는가?
• RQ4 다중 프레임 시간 모델링이 3D 검출에서 적대적 변형의 영향을 완화시킬 수 있는가?
• RQ5 장꼬리 감지에 대응하기 위해 설계된 훈련 전략(예: 클래스 밸런스 그룹 샘플링)은 적대적 견고성 향상에도 기여하는가?

주요 결과

• BEV 기반 모델은 청결 데이터에서 유사한 성능를 보이지만, 국소화 공격에 대해 분류 공격보다 더 강건함을 보였다.
• 깊이 추정이 없는 방법은 더 높은 내재적 견고성을 보이며, 깊이 추정을 제거함으로써 핵심 취약 표면이 감소함을 시사한다.
• 훈련 중에 명시적인 깊이 감독을 제공하면 깊이 추정 기반 모델의 견고성이 크게 향상되며, 정확한 깊이 추정이 견고성 향상에 기여함을 확인하였다.
• 다중 프레임 정상 입력을 통합함으로써 시간 모델에서 적대적 영향이 25–30% 감소하였으며, BEVDet4D는 단일 프레임 공격 대비 BEV 특징 오차가 27% 감소하였다.
• 백본 크기를 증가시키면 항상 적대적 견고성이 향상되며, 특히 초깃값 견고성이 낮은 모델에서 두드러진다. 이는 Swin-Tiny와 더 큰 버전 간의 성능 격차에서 확인되었다.
• 클래스 밸런스 그룹 샘플링(CBGS) 훈련은 DETR3D에서 약 11%의 적대적 NDS 향상을 보였으며, 이는 장꼬리 완화 전략이 견고성 향상에 기여할 수 있음을 시사한다.