[논문 리뷰] On Isometry Robustness of Deep 3D Point Cloud Models under Adversarial Attacks

Yue Zhao, Yuwei Wu외 2명|arXiv (Cornell University)|2020. 02. 27.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 5

한 줄 요약

이 논문은 3차원 포인트 클라우드 모델에 대한 새로운 블랙박스 및 Whited-box 적대적 공격을 제안하며, Thompson Sampling과 Restricted Isometry Property 기반의 변형을 사용하여 등장변환에 대한 극도로 취약한 성질을 입증한다. 미세한 회전(±2.81°) 조건에서도 공격 성공률가 95% 이상을 기록하며, 강력한 전이성과 최신 3차원 모델의 근본적인 강건성 격차를 드러낸다.

ABSTRACT

While deep learning in 3D domain has achieved revolutionary performance in many tasks, the robustness of these models has not been sufficiently studied or explored. Regarding the 3D adversarial samples, most existing works focus on manipulation of local points, which may fail to invoke the global geometry properties, like robustness under linear projection that preserves the Euclidean distance, i.e., isometry. In this work, we show that existing state-of-the-art deep 3D models are extremely vulnerable to isometry transformations. Armed with the Thompson Sampling, we develop a black-box attack with success rate over 95% on ModelNet40 data set. Incorporating with the Restricted Isometry Property, we propose a novel framework of white-box attack on top of spectral norm based perturbation. In contrast to previous works, our adversarial samples are experimentally shown to be strongly transferable. Evaluated on a sequence of prevailing 3D models, our white-box attack achieves success rates from 98.88% to 100%. It maintains a successful attack rate over 95% even within an imperceptible rotation range $[\pm 2.81^{\circ}]$.

연구 동기 및 목표

• 등장변환(예: 회전, 이동, 반사) 조건에서 딥 3차원 포인트 클라우드 모델의 강건성을 조사하기 위해.
• 최대 공격 성공률를 확보하기 위해 공격 성공률가 높은 영역에서 더 높은 확률로 회전 각도를 적응적으로 샘플링하는 Thompson Sampling을 활용해 효율적인 블랙박스 공격 프레임워크를 개발하기 위해.
• 등장변환을 유지하면서 모델의 오분류를 극대화하기 위해 Restricted Isometry Property(RIP)와 스펙트럼 노름 기반 변형을 사용하는 화이트박스 공격을 제안하기 위해.
• 다양한 3차원 모델 간에 적대적 샘플의 전이성을 평가하고 자율주행 차량과 같은 실세계 시스템에 대한 실질적 영향을 분석하기 위해.
• 현재 3차원 데이터 증강 기법이 등장변환 기반 적대적 공격에 대비하여 얼마나 효과적인지에 대한 한계를 검토하기 위해.

제안 방법

• 공격 성공률이 높은 영역에서 더 높은 확률로 회전 각도를 샘플링함으로써, 랜덤 탐색 대비 효율성을 향상시키기 위해 블랙박스 환경에서 Thompson Sampling을 적용한다.
• 단일 각도로 매aram터화된 회전 행렬을 사용하여 포인트 클라우드에 등장변환을 적용함으로써 그 내재 기하학적 성질을 변화시키지 않는다.
• 변형이 등장변환에 가까워지도록 보장하기 위해 $ A^T A - I $의 스펙트럼 노름으로 제약을 두는 Restricted Isometry Property(RIP) 기반의 화이트박스 공격 프레임워크를 도입한다.
• 스펙트럼 노름을 사용해 변형 크기를 측정함으로써, 2차원 이미지 적대적 공격에서의 $ L_p $ 노름과 비교 가능한 보편적이고 공정한 지표를 제공한다.
• ModelNet40 데이터셋에서 다양한 3차원 모델의 강건성을 평가하기 위해, 회전 및 반사 기반 공격(TSI 및 CTRI)을 적용한다.
• 랜덤 $ p $-회전을 사용한 데이터 증강 방어 전략을 평가하여, 적대적 조건에서 모델 정확도와 강건성 간의 상호 교환 관계를 분석한다.

실험 결과

연구 질문

• RQ1 최신 3차원 포인트 클라우드 모델은 미세한 회전 조건에서도 등장변환 유지 공격에 얼마나 취약한가?
• RQ2 Thompson Sampling는 최소한의 쿼리 비용으로 3차원 모델에 대해 효율적인 블랙박스 적대적 공격을 설계하는 데 효과적으로 활용될 수 있는가?
• RQ3 등장변환 제약 조건 하에서 생성된 적대적 샘플은 다양한 3차원 아키텍처 간에 얼마나 강력한 전이성을 보이는가?
• RQ4 Restricted Isometry Property 하에서 스펙트럼 노름 기반 변형이 기하학적 충실도를 유지하면서 모델을 효과적으로 오도할 수 있는가?
• RQ5 등장변환 기반 공격에 대비하여 표준 3차원 데이터 증강 기법을 적용할 경우, 모델 정확도와 강건성 간의 상호 교환 관계는 어떠한가?

주요 결과

• 블랙박스 Thompson Sampling 기반 공격은 ModelNet40에서 모든 평가 대상 모델에 대해 최대 1000개의 쿼리 이내로 공격 성공률가 95.66% 이상을 기록한다.
• 스펙트럼 노름 기반 변형을 사용하는 화이트박스 공격은 조건이 매우 미세한 ±2.81° 회전(즉, $[-rac{ heta}{64}, rac{ heta}{64}]$) 조건에서도 여러 3차원 모델에서 98.88%에서 100%의 성공률를 기록한다.
• 제안된 방법으로 생성된 적대적 샘플은 강력한 전이성을 보이며, 현재 3차원 모델이 등장변환 유지 공격에 대해 근본적인 취약성을 지닌다는 것을 시사한다.
• 스펙트럼 노름 기반 변형 크기가 0.068 이하일지라도, 모든 테스트 모델에서 공격 성공률가 98.11% 이상을 유지한다.
• 표준 3차원 데이터 증강 기법(예: 랜덤 회전, 저항, 스케일링)은 제안된 공격, 특히 CTRI 기반 공격에 대해 충분히 방어하지 못한다.
• 랜덤 $ p $-회전 증강($ p riangleq 0.1 $에서 $ 0.3 $)은 TSI 공격 성공률를 약 80%로 감소시키면서도 모델 정확도를 90% 이상 유지하므로, 실용적인 방어 전략의 가능성을 시사한다.