[논문 리뷰] Generating 3D Adversarial Point Clouds

Chong Xiang, Charles R. Qi외 1명|arXiv (Cornell University)|2018. 09. 19.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 21

한 줄 요약

이 논문은 PointNet을 대상으로 하여 3D 포인트 클라우드 모델을 대상으로 하는 새로운 적대적 공격 방법을 제안한다. 공격 방법은 기존 포인트의 미세한 이동(적대적 포인트 변형)과 의미 있는 형태(예: 공이나 비행기)를 추가하는 적대적 포인트 생성을 포함한다. 이 공격 방법은 ModelNet40에서 최소한이지만 눈에 띄지 않는 변형으로 99% 이상의 성공률를 기록하여 3D 적대적 강건성 연구 분야의 기준을 설정한다.

ABSTRACT

Deep neural networks are known to be vulnerable to adversarial examples which are carefully crafted instances to cause the models to make wrong predictions. While adversarial examples for 2D images and CNNs have been extensively studied, less attention has been paid to 3D data such as point clouds. Given many safety-critical 3D applications such as autonomous driving, it is important to study how adversarial point clouds could affect current deep 3D models. In this work, we propose several novel algorithms to craft adversarial point clouds against PointNet, a widely used deep neural network for point cloud processing. Our algorithms work in two ways: adversarial point perturbation and adversarial point generation. For point perturbation, we shift existing points negligibly. For point generation, we generate either a set of independent and scattered points or a small number (1-3) of point clusters with meaningful shapes such as balls and airplanes which could be hidden in the human psyche. In addition, we formulate six perturbation measurement metrics tailored to the attacks in point clouds and conduct extensive experiments to evaluate the proposed algorithms on the ModelNet40 3D shape classification dataset. Overall, our attack algorithms achieve a success rate higher than 99% for all targeted attacks

연구 동기 및 목표

• 3D 딥러닝 모델, 특히 PointNet의 적대적 포인트 클라우드 공격에 대한 취약성을 조사하는 것.
• 2D 이미지와 근본적으로 다름으로서, 비정규적이고 고차원적인 포인트 클라우드 데이터에서 적대적 예제를 생성하는 데 발생하는 고유한 과제를 해결하는 것.
• 포인트 클라우드의 기하학적 및 구조적 특성에 맞게 최적화된 새로운 공격 방법을 개발하고 평가하는 것.
• ModelNet40에서의 광범위한 평가와 함께 여섯 가지 맞춤형 변형 지표를 도입하여 향후 3D 적대적 강건성 연구를 위한 기초를 마련하는 것.

제안 방법

• 포인트 클라우드 내 기존 포인트의 소규모 Lp 제약 이동을 최적화하여 적대적 포인트 변형을 제안한다.
• 객체 표면 근처의 취약 영역에 새로운 포인트 또는 소규모 클러스터(예: 공, 비행기)를 배치하여 적대적 포인트 생성을 도입한다.
• 유사 손실 함수를 사용한 미분 가능 최적화 프레임워크를 통해 생성된 적대적 포인트의 위치와 형태를 안내한다.
• 공격의 눈에 띄지 않음과 효과성 평가를 위해 하우스도르프 거리, 캐멀러 거리, 형태 인식 지표와 같은 다수의 변형 지표를 사용한다.
• 손실 함수의 트레이드오프 하이퍼파ram터 λ를 조정하기 위해 이진 탐색을 적용한다. 이는 공격 성공률와 변형 크기 사이의 균형을 맞춘다.
• 다른 3D 모델들(예: PointNet++, DGCNN) 간에 적대적 예제의 전이성을 평가하고, MNIST에서 PointNet을 방어 수단으로 사용하는지 탐색한다.

실험 결과

연구 질문

• RQ1 비정규적이고 고차원적인 포인트 클라우드 데이터의 특성 탓에 PointNet과 같은 3D 모델에 대해 적대적 포인트 클라우드를 효과적으로 생성할 수 있는가?
• RQ2 사람의 눈에 띄지 않게 하면서도 3D 모델에서 잘못된 분류를 유도할 수 있는 적대적 공격는 어떻게 설계할 수 있는가?
• RQ3 3D 적대적 변형의 품질과 눈에 띄지 않음 정도를 평가하는 데 가장 효과적인 지표는 무엇인가?
• RQ4 적대적 포인트 클라우드는 다른 3D 딥러닝 모델 간에 얼마나 전이되는가?
• RQ5 PointNet 유사 아키텍처는 2D 적대적 예제에 대응하는 방어 수단으로 활용될 수 있는가?

주요 결과

• 제안된 적대적 포인트 변형 방법은 허용 가능한 Lp 노름 예산 내에서 눈에 띄지 않는 변형으로 100%의 공격 성공률를 기록한다.
• 세 가지 의미 있는 형태(예: 비행기)를 사용한 적대적 포인트 생성 공격는 99.3%의 성공률를 기록했고, 한 가지 형태로는 78.8%의 성공률를 기록했다.
• 세 개의 클러스터를 추가했을 때 적대적 클러스터의 공격 성공률는 97.3%로, 복잡하고 현실적인 형태로도 강력한 효과를 보였다.
• 기타 3D 모델들(예: PointNet++, DGCNN)에 대한 제작된 적대적 포인트 클라우드의 전이성은 제한적이었으며, 무관심 공격 성공률는 50% 이하였다.
• PointNet은 이진화된 MNIST 데이터에서 FGSM 공격에 대해 ε ≤ 0.5일 때 98% 이상의 정확도를 유지하며 강건성을 보였으며, 이는 방어 응용 가능성에 대한 잠재력을 시사한다.