[논문 리뷰] Extending Adversarial Attacks and Defenses to Deep 3D Point Cloud Classifiers

Daniel Liu, Ronald Yu외 1명|arXiv (Cornell University)|2019. 01. 10.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 18

한 줄 요약

이 논문은 3D 포인트 클라우드 분류기에서의 적대적 내성에 대해 조사하며, 2D 이미지 기반의 적대적 공격(예: FGSM 및 반복적 기울기 방법)을 PointNet과 PointNet++를 사용하여 3D 포인트 클라우드로 확장한다. 이는 이러한 모델이 미세한 변화에 취약함을 보여주지만, 기하학적 및 위상적 성질을 활용하는 구조 인식 방어 기법(예: 이질점 제거 및 주목할 만한 점 필터링)을 통해 더 쉽게 방어 가능하다는 것을 밝힌다.

ABSTRACT

3D object classification and segmentation using deep neural networks has been extremely successful. As the problem of identifying 3D objects has many safety-critical applications, the neural networks have to be robust against adversarial changes to the input data set. There is a growing body of research on generating human-imperceptible adversarial attacks and defenses against them in the 2D image classification domain. However, 3D objects have various differences with 2D images, and this specific domain has not been rigorously studied so far. We present a preliminary evaluation of adversarial attacks on deep 3D point cloud classifiers, namely PointNet and PointNet++, by evaluating both white-box and black-box adversarial attacks that were proposed for 2D images and extending those attacks to reduce the perceptibility of the perturbations in 3D space. We also show the high effectiveness of simple defenses against those attacks by proposing new defenses that exploit the unique structure of 3D point clouds. Finally, we attempt to explain the effectiveness of the defenses through the intrinsic structures of both the point clouds and the neural network architectures. Overall, we find that networks that process 3D point cloud data are weak to adversarial attacks, but they are also more easily defensible compared to 2D image classifiers. Our investigation will provide the groundwork for future studies on improving the robustness of deep neural networks that handle 3D data.

연구 동기 및 목표

• PointNet 및 PointNet++와 같은 3D 포인트 클라우드 분류기가 2D 이미지 설정에서 유도된 적대적 공격에 얼마나 취약한지 조사하기 위해.
• 기존의 2D 적대적 공격 방법(FGSM 및 반복적 기울기 공격 등)을 3D 포인트 클라우드 데이터로 확장하기 위해.
• 다양한 3D 포인트 클라우드 모델 간에 블랙박스 전이 공격의 효과성을 평가하기 위해.
• 3D 포인트 클라우드의 기하학적 및 위상적 성질을 활용하는 단순한, 구조 인식 방어 기법을 제안하고 분석하기 위해.
• 3D 포인트 클라우드 분류기가 2D 이미지 분류기보다 적대적 예제에 대해 본질적으로 더 강건한 이유를 이해하기 위해.

제안 방법

• 점 좌표에 대한 기울기를 계산하고 $L_2$ 또는 $L_\infty$ 노름을 사용해 편향을 적용함으로써, 3D 포인트 클라우드에 대해 백색 상자 적대적 공격(FGSM, 반복적 기울기 등)을 적응시켰다.
• 모델의 파rameter에 접근할 수 없는 공격자도 공격 성공률을 높이기 위해, 한 모델에서 생성한 적대적 예제를 다른 모델에 테스트하는 방식으로 블랙박스 전이 공격을 확장하였다.
• 이질점 제거, 주목할 만한 점 필터링, 적대적 훈련을 포함한 방어 기법을 제안하여 강건성을 향상시켰다.
• PointNet 및 PointNet++에서 최대 풀링을 사용하여 일부 점들이 기울기 기반 공격에서 노출되지 않게 하여, 편향의 효과를 감소시켰다.
• 청결한 포인트 클라우드와 사전 처리된 포인트 클라우드에서의 공격 성공률을 측정함으로써 방어 기법의 효과를 평가하였으며, 인지 가능성과 강건성을 분석하였다.
• 포인트 클라우드의 본질적 기하학적 구조와 PointNet에서의 최대 풀링의 역할을 분석하여 방어 능력 향상에 기여하는 요소를 규명하였다.

실험 결과

연구 질문

• RQ1 PointNet 및 PointNet++와 같은 3D 포인트 클라우드 분류기는 2D 이미지 설정에서 유도된 적대적 공격에 얼마나 취약한가?
• RQ2 공격자가 모델의 파rameter에 접근할 수 없는 상황에서, 블랙박스 전이 공격이 3D 포인트 클라우드 분류기를 얼마나 효과적으로 속일 수 있는가?
• RQ3 이질점 제거나 주목할 만한 점 필터링과 같은 단순한, 구조 인식 방어 기법이 적대적 편향에 대한 강건성을 크게 향상시킬 수 있는가?
• RQ4 기울기 기반 공격에 대해 유사한 취약성을 보일지라도, 3D 포인트 클라우드 분류기가 2D 이미지 분류기보다 왜 더 쉽게 방어 가능한가?
• RQ5 PointNet에서의 최대 풀링과 같은 아키텍처 구성 요소가 적대적 강건성에 어떻게 기여하는가?

주요 결과

• FGSM 및 반복적 기울기 방법과 같은 백색 상자 적대적 공격은 미세한 인지 가능한 편향을 동반하면서도 3D 포인트 클라우드를 성공적으로 잘못 분류한다.
• 블랙박스 전이 공격은 PointNet에서 생성된 적대적 예제가 PointNet++와 같은 다른 모델을 성공적으로 속일 수 있음을 보여주며, 3D 공간 내에서의 전이 가능성(transferability)을 확인한다.
• 적대적 훈련은 강건성을 크게 향상시키며, 적대적으로 훈련된 PointNet은 일반적으로 훈련된 모델의 공격을 저지할 수 있다.
• 이질점 제거 및 주목할 만한 점 필터링은 입력 데이터를 결정 경계에서 멀리 이동시키고 국소 포인트 클라우드의 구조를 복원함으로써 적대적 공격 성공률를 감소시킨다.
• PointNet 및 PointNet++에서 최대 풀링 연산은 일부 점들이 기울기 기반 공격에서 노출되지 않게 하여, 기울기가 0이 되고 직접적으로 편향을 가할 수 없게 하므로, 이는 공격의 효과를 감소시킨다.
• 청결한 포인트 클라우드의 기하학적 사전 지식, 최대 풀링, 그리고 점 필터링의 조합이 3D 포인트 클라우드 분류기가 2D 이미지 분류기보다 더 강건하게 방어 가능하게 만든다. 이는 유사한 공격 취약성에도 불구하고 성립한다.