[논문 리뷰] Physically Realizable Adversarial Examples for LiDAR Object Detection

James Tu, Mengye Ren외 6명|arXiv (Cornell University)|2020. 04. 01.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 16

한 줄 요약

이 논문은 3D 프린팅이 가능하고 차량의 지붕에 놓을 수 있는 물리적으로 실현 가능한 3D 적대적 객체를 제안한다. 이 객체는 LiDAR 기반 객체 검출기의 탐지에서 80% 성공률로 차량을 감추는 데 성공한다. 방법론은 미분 가능 렲영과 메쉬 최적화를 사용하여 물리적으로 타당하고 다양한 검출기 아키텍처 및 입력 표현 방식에서 탐지를 피하는 유니버설 적대적 메쉬를 생성한다.

ABSTRACT

Modern autonomous driving systems rely heavily on deep learning models to process point cloud sensory data; meanwhile, deep models have been shown to be susceptible to adversarial attacks with visually imperceptible perturbations. Despite the fact that this poses a security concern for the self-driving industry, there has been very little exploration in terms of 3D perception, as most adversarial attacks have only been applied to 2D flat images. In this paper, we address this issue and present a method to generate universal 3D adversarial objects to fool LiDAR detectors. In particular, we demonstrate that placing an adversarial object on the rooftop of any target vehicle to hide the vehicle entirely from LiDAR detectors with a success rate of 80%. We report attack results on a suite of detectors using various input representation of point clouds. We also conduct a pilot study on adversarial defense using data augmentation. This is one step closer towards safer self-driving under unseen conditions from limited training data.

연구 동기 및 목표

• 자율주행 시스템의 LiDAR 기반 객체 검출기의 물리적 적대적 공격에 대한 취약성을 조사한다.
• 모든 차량에 부착 가능하고 3D 프린팅이 가능한 유니버설, 물리적으로 실현 가능한 3D 적대적 메쉬를 개발한다.
• 다양한 LiDAR 검출기 아키텍처와 입력 표현 방식(예: 볼록체, 포인트 클라우드, 점유 격자)에서 공격의 효과성을 평가한다.
• 데이터 증강과 적대적 훈련을 활용한 방어 기법을 탐색하여 탐지기의 강건성을 향상시킨다.
• 일반적인 물체인 소파나 의자와 같은 것들이 적대적으로 형태를 변형당할 경우 의도치 않게 적대적 촉발자로 작용할 수 있음을 보여준다.

제안 방법

• 메쉬 정점의 기울기 기반 최적화를 가능하게 하기 위해, 다양한 시나리오와 차량에서 탐지 점수를 최소화하기 위해 유니버설 적대적 메쉬를 최적화한다. 이는 모델 가중치에 접근 가능한 화이트박스 공격 설정을 사용한다.
• 정점의 변형을 0.03m 이내로 제한하고, 소수의 이동 및 회전만 允허함으로써 물리적으로 실현 가능한 상태를 유지한다.
• PIXOR, PointPillar, CenterPoint 등의 다양한 LiDAR 검출기에서 공격 성능을 평가하며, 밀도 볼록체, 점유 볼록체, 포인트 특징 등의 다양한 입력 표현 방식을 사용한다.
• 방어를 위해, 무작위로 선택된 메쉬를 사용한 데이터 증강과, 훈련 중에 적대적 메쉬를 사용해 모델을 미세조정하는 적대적 훈련을 적용한다.
• ShapeNet 메쉬에서 초기화하여 일반적인 현실 세계의 물체(예: 소파, 의자, 자전거)를 닮은 적대적 물체를 생성하기 위해 제약 조건이 있는 변형을 적용한다.

실험 결과

연구 질문

• RQ1 다양한 차량과 환경에서, 유니버설하게 LiDAR 객체 검출기를 회피할 수 있는 단일한 물리적으로 실현 가능한 3D 적대적 메쉬를 생성할 수 있는가?
• RQ2 볼록체화 및 포인트 클라우드 처리와 같은 다양한 입력 표현 방식에서 공격의 효과성은 어떠한가?
• RQ3 적대적 물체의 물리적 타당성(예: 일반적인 지붕 물체처럼 보이기)이 공격 성공률이나 현실성에 영향을 미치는가?
• RQ4 데이터 증강과 적대적 훈련이 이러한 유니버설 3D 공격에 대한 검출기의 강건성을 크게 향상시킬 수 있는가?
• RQ5 입력 표현 선택(예: 밀도 vs. 점유 볼록체)이 3D 적대적 예제에 대한 검출기의 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 적대적 메쉬는 다양한 검출기 아키텍처에서 IoU 임계치 0.7에서 80%의 성공률로 차량을 LiDAR 검출기에서 숨기는 데 성공했다.
• 공격는 다양한 입력 표현 방식에서 효과적이었으며, 입력 정밀도가 높은 밀도 볼록체 기반 검출기가 점유 볼록체 기반 검출기보다 더 취약한 것으로 나타났다.
• PointNet 기반 백본과 기둥 기반 특징 추출을 사용하는 PIXOR*는 동일한 백본을 사용하는 표준 PIXOR보다 훨씬 더 높은 강건성을 보였으며, 이는 입력 표현의 영향을 받기 때문이다.
• 적대적으로 변형된 일반적인 물체들인 소파나 의자 역시 탐지 실패를 유도할 수 있었으며, 인간이 인식할 수 있는 형태는 ShapeNet 분류기에서도 여전히 식별 가능했다.
• 무작위 메쉬 증강과 함께 적대적 훈련을 수행하면 공격 성공률는 감소했지만 완전히 제거되지는 않았으며, 잔여 5–20%의 취약성이 남아 있었다.
• 방어 메커니즘은 KITTI 검증 세트에서 표준 검출 성능을 떨어뜨리지 않으면서도 강건성을 향상시켜 실용적 구현 가능성을 입증했다.