[논문 리뷰] Understanding the Robustness of 3D Object Detection with Bird's-Eye-View Representations in Autonomous Driving

Zijian Zhu, Yichi Zhang외 6명|arXiv (Cornell University)|2023. 03. 30.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 자율주행에서 시각 기반 Bird's-Eye-View (BEV) 3D 객체 검출기의 자연적 및 공격적 내성에 대해 체계적으로 평가하며, 현실적인 시공간 공격 위협을 시뮬레이션하기 위해 새로운 3D 일관성 패치 공격을 제안한다. 연구 결과, BEV 모델은 표현력 있는 공간 특징 덕분에 자연적 오염에 더 강건한 반면, 특히 중복된 BEV 특징으로 인해 공격적 노이즈에 훨씬 더 취약함을 확인하여 실세계 적용 시 중요한 안전 우려를 드러낸다.

ABSTRACT

3D object detection is an essential perception task in autonomous driving to understand the environments. The Bird's-Eye-View (BEV) representations have significantly improved the performance of 3D detectors with camera inputs on popular benchmarks. However, there still lacks a systematic understanding of the robustness of these vision-dependent BEV models, which is closely related to the safety of autonomous driving systems. In this paper, we evaluate the natural and adversarial robustness of various representative models under extensive settings, to fully understand their behaviors influenced by explicit BEV features compared with those without BEV. In addition to the classic settings, we propose a 3D consistent patch attack by applying adversarial patches in the 3D space to guarantee the spatiotemporal consistency, which is more realistic for the scenario of autonomous driving. With substantial experiments, we draw several findings: 1) BEV models tend to be more stable than previous methods under different natural conditions and common corruptions due to the expressive spatial representations; 2) BEV models are more vulnerable to adversarial noises, mainly caused by the redundant BEV features; 3) Camera-LiDAR fusion models have superior performance under different settings with multi-modal inputs, but BEV fusion model is still vulnerable to adversarial noises of both point cloud and image. These findings alert the safety issue in the applications of BEV detectors and could facilitate the development of more robust models.

연구 동기 및 목표

• 자율주행의 3D 객체 검출에서 시각 기반 BEV 모델의 자연적 및 공격적 내성을 체계적으로 평가하는 것.
• 명시적인 BEV 표현 방식이 이미지 오염, 기상 변화, 부분적인 카메라 가림과 같은 자연적 요란에 의한 모델 안정성에 미치는 영향을 조사하는 것.
• 다중 카메라 및 프레임 간 공간적·시간적 일관성을 확보하는 새로운 3D 일관성 패치 공격을 개발하고 적용하는 것.
• 전역 노이즈 및 유니버설 패치를 포함한 다양한 공격 설정에서 카메라 전용, 카메라-LiDAR 융합, BEV 전용 모델 간의 내성을 비교하는 것.
• 아키텍처 및 훈련 개선을 통한 BEV 기반 검출기의 안전성 및 신뢰성 향상을 위한 실질적 통찰을 제공하는 것.

제안 방법

• 3D 객체에 공격적 패치를 적용하고, 이를 다중 카메라 뷰 및 연속된 영상 프레임 간에 일관되게 투영하는 3D 일관성 패치 공격을 제안한다.
• 이웃 카메라 간의 공간 일치성과 영상 시퀀스 내 프레임 간 시간 일관성을 확보하기 위해 유연한 투영 파이프라인을 사용한다.
• 다양한 객체나 프레임 시퀀스에 대해 동일한 패치를 최적화하는 유니버설 공격 설정을 도입하여 시간적 유니버설리티를 강제한다.
• 공통 오염, 기상/조명 변화, 카메라 손실, 다양한 공격 방식(ℓp 노이즈 및 인스턴스/카테고리별 패치 포함)에 대한 내성 평가를 수행한다.
• 이미지 전용 및 다중 모odal(카메라+LiDAR) 설정에서 7개의 대표적 모델(BEVDet, BEVDepth, DETR3D, BEVFormer, TransFusion, BEVFusion)을 비교 분석한다.
• BEVFormer의 특징 활성화 패턴을 분석하여 BEV 표현 내 중복된 공간 특징과 관련된 공격 취약성의 근본 원인을 규명한다.

실험 결과

연구 질문

• RQ1 시각 기반 BEV 모델은 이미지 노이즈, 기상 변화, 부분적 카메라 가림과 같은 자연적 오염 상황에서 어떻게 성능을 발휘하는가?
• RQ2 BEV 모델은 비-BEV 모델에 비해 ℓp 노이즈 및 공격적 패치에 대해 얼마나 취약한가?
• RQ3 LiDAR 데이터 융합이 자연적 및 공격적 조건 하에서 모델의 내성에 어떤 영향을 미치는가?
• RQ4 다중 카메라 및 프레임 간 공간적·시간적 일관성을 유지하는 3D 일관성 패치 공격은 기존 2D 패치 공격보다 공격 성공률이 높은가?
• RQ5 BEVFormer와 같이 BEV 모델에 트랜스포머를 사용할 경우, 시간적 특징 의존성 덕분에 유니버설 공격적 노이즈에 대한 내성이 향상되는가?

주요 결과

• BEV 모델은 표현력 있는 공간적·의미적 표현 덕분에 비-BEV 모델에 비해 자연적 오염에 뛰어난 내성을 보이며, 공통 오염 및 부분적 카메라 가림 상황에서도 높은 성능 유지를 유지한다.
• 자연적 내성은 확보하고 있으나, BEV 모델은 특히 ℓ∞ 노이즈 및 공격적 패치에 훨씬 더 취약하며, 이는 BEV 특징맵 내 중복된 공간적 특징 때문임을 확인하였다.
• TransFusion 및 BEVFusion과 같은 카메라-LiDAR 융합 모델은 모든 설정에서 최고 성능과 뛰어난 내성을 확보하고 있으나, 이미지 및 포인트 클라우드가 동시에 공격받을 경우 BEVFusion는 높은 취약성을 보였다.
• 3D 일관성 패치 공격는 카메라 간 공간 일치성과 프레임 간 시간 일관성을 유지함으로써 높은 공격 성공률를 달성하였으며, 다중 카메라 시스템에서 탐지되지 않는 현실적인 위협 벡터임을 입증하였다.
• BEVFormer는 다른 모델에 비해 유니버설 공격적 패치(카테고리별 및 시간적으로 유니버설)에 대해 더 강한 내성을 보였으며, BEV 특징 내 시간 의존성이 유니버설 노이즈에 대한 저항력을 향상시킨다는 점을 시사한다.
• 본 연구는 근본적인 상충관계를 드러내었다: BEV 표현 방식은 정확도 및 자연적 내성을 향상시키지만, 동시에 공격적 예측에 대한 민감도를 증폭시키므로, 안전이 중요한 응용 분야에서는 새로운 방어 기법이 필요하다.