[논문 리뷰] PointDP: Diffusion-driven Purification against Adversarial Attacks on 3D Point Cloud Recognition

J. F. Sun, Weili Nie외 3명|arXiv (Cornell University)|2022. 08. 21.

Adversarial Robustness in Machine Learning인용 수 10

한 줄 요약

PointDP는 3차원 점군 인식 모델을 위한 확산 기반 정제 방어 기법을 제안한다. 확산 모델의 역방향 노이즈 제거 과정을 활용해 적대적 편향을 제거한다. 강력한 적대적 공격에 대해 여섯 모델 평균으로 75.9%의 강건한 정확도를 달성하며, IF-Defense와 LPC에 비해 평균 12.6%와 40.3% 높은 성능을 보였다.

ABSTRACT

3D Point cloud is becoming a critical data representation in many real-world applications like autonomous driving, robotics, and medical imaging. Although the success of deep learning further accelerates the adoption of 3D point clouds in the physical world, deep learning is notorious for its vulnerability to adversarial attacks. In this work, we first identify that the state-of-the-art empirical defense, adversarial training, has a major limitation in applying to 3D point cloud models due to gradient obfuscation. We further propose PointDP, a purification strategy that leverages diffusion models to defend against 3D adversarial attacks. We extensively evaluate PointDP on six representative 3D point cloud architectures, and leverage 10+ strong and adaptive attacks to demonstrate its lower-bound robustness. Our evaluation shows that PointDP achieves significantly better robustness than state-of-the-art purification methods under strong attacks. Results of certified defenses on randomized smoothing combined with PointDP will be included in the near future.

연구 동기 및 목표

• 기울기 가로막힘으로 인해 표준 적대적 훈련이 3차원 점군 모델에서 성능에 한계를 가짐을 규명하는 것.
• IF-Defense 및 LPC와 같은 기존 정제 방법이 강력한 적대적 공격에 취약함을 해결하는 것.
• 다양한 3차원 적대적 공격에 대비해 강건성을 향상시키기 위해 새로운 확산 기반 정제 프레임워크인 PointDP를 제안하는 것.
• 여섯 종류의 3차원 아키텍처와 16종 이상의 공격 유형(적응형 및 블랙박스 공격 포함)을 대상으로 PointDP의 철저한 평가를 수행하는 것.
• 확산 기반 정제가 이전 최신 기술 방어 방법보다 더 강력한 경험적 강건성을 제공할 수 있음을 입증하는 것.

제안 방법

• PointDP는 두 단계의 과정을 도입한다: 첫째, 입력 점군을 전방 확산 과정을 통해 노이즈로 변환하고, 둘째, 이를 역방향으로 복원하여 정제된 점군을 회복한다.
• 역방향 과정은 훈련된 3차원 확산 모델을 활용해 점진적으로 노이즈를 제거함으로써, 편향을 효과적으로 제거한다.
• 평가 중 기울기 기반 공격를 가능하게 하기 위해, 확산 모델의 확률적 미분 방정식(SDE) 수식에 대해 연역 방법(Adjoint method)을 적용해 역전파를 수행한다.
• 각 정제 단계에서 확산 모델이 내재한 확률적 특성으로 인해 높은 무작위성이 발생하여, 기울기 기반 적응형 공격가 정확한 기울기 추정을 어렵게 한다.
• PointDP는 정제 후처리 모듈로 적용되어 청소된 정확도를 유지하면서도 강건성을 크게 향상시킨다.
• 다양한 공격 설정 하에서 평가되었으며, $ε$-제한된 $ε_{\infty}$, $ε_{2}$, $ε_{0}$ 공격과 SPSA 및 Nattack와 같은 블랙박스 방법이 포함되었다.

실험 결과

연구 질문

• RQ1 표준 적대적 훈련은 3차원 점군 모델에서 강력한 블랙박스 및 적응형 공격에 대해 강건성을 제공하는가?
• RQ2 IF-Defense 및 LPC와 같은 정제 방법은 3차원 점군 환경에서 고도로 적응형 공격에 견딜 수 있는가?
• RQ3 확산 기반 정제 프레임워크는 3차원 점군 인식에서 기존 최신 기술 대비 더 높은 강건성을 달성할 수 있는가?
• RQ4 BPDA-PGD 및 EOT-AutoAttack와 같은 강력한 적응형 공격에 대해 PointDP는 얼마나 효과적인가?
• RQ5 확산 과정의 무작위성은 블랙박스 및 기울기 기반 적응형 공격에 얼마나 방해가 되는가?

주요 결과

• PointDP는 강력한 적응형 공격 하에서 여섯 종류의 3차원 모델 평균으로 75.9%의 강건한 정확도를 달성하며, IF-Defense 및 LPC를 뚜렷이 앞서간다.
• $ε_{\infty} = 0.05$ 조건에서 PointNet부터 DGCNN까지의 정확도는 77.1%에서 79.2%에 이르며, IF-Defense보다 평균 12.6% 높다.
• $ε_{\infty} = 1.25$ 조건에서 PointDP는 71.2%에서 79.6%의 강건한 정확도를 유지하며, LPC보다 평균 40.3% 높다.
• 가장 강력한 적응형 공격인 BPDA-PGD 조건에서도 PointDP는 모든 모델에서 70% 이상의 강건한 정확도를 유지하여 뛰어난 내성성을 입증했다.
• SPSA 및 Nattack와 같은 블랙박스 공격은 상당히 효과가 떨어져, 확산 모델의 무작위성이 기울기 추정을 어렵게 한다는 점을 시사한다.
• 연구 결과, 표준 적대적 훈련이 3차원 점군 모델에서 기울기 가로막힘 현상을 겪어 블랙박스 공격 하에서 정확도가 약 10%로 떨어지는 것으로 밝혀졌다.