[논문 리뷰] Geometry-Aware Generation of Adversarial Point Clouds

Yuxin Wen, Jiehong Lin외 3명|arXiv (Cornell University)|2019. 12. 24.

3D Shape Modeling and Analysis인용 수 10

한 줄 요약

이 논문은 표면의 매끄러움과 공정성을 촉진하는 기하학적 인지 정규화 항을 도입하여, 타겟 분류 오류 손실과 조합함으로써 눈에 띄지 않게, 매끄럽고 방어하기 어려운 적대적 예측을 생성하는 기하학적 인지 기반의 3D 포인트 클라우드 적대적 공격 방법인 GeoA³을 제안한다. 이 방법은 이상치 제거 방어에 더 강건하고, 더 현실적인 적대적 포인트 클라우드를 생성하여, 합성 및 물리적 공격 평가 모두에서 기존 작업들을 능가한다.

ABSTRACT

Machine learning models have been shown to be vulnerable to adversarial examples. While most of the existing methods for adversarial attack and defense work on the 2D image domain, a few recent attempts have been made to extend them to 3D point cloud data. However, adversarial results obtained by these methods typically contain point outliers, which are both noticeable and easy to defend against using the simple techniques of outlier removal. Motivated by the different mechanisms by which humans perceive 2D images and 3D shapes, in this paper we propose the new design of \emph{geometry-aware objectives}, whose solutions favor (the discrete versions of) the desired surface properties of smoothness and fairness. To generate adversarial point clouds, we use a targeted attack misclassification loss that supports continuous pursuit of increasingly malicious signals. Regularizing the targeted attack loss with our proposed geometry-aware objectives results in our proposed method, Geometry-Aware Adversarial Attack ($GeoA^3$). The results of $GeoA^3$ tend to be more harmful, arguably harder to defend against, and of the key adversarial characterization of being imperceptible to humans. While the main focus of this paper is to learn to generate adversarial point clouds, we also present a simple but effective algorithm termed $Geo_{+}A^3$-IterNormPro, with Iterative Normal Projection (IterNorPro) that solves a new objective function $Geo_{+}A^3$, towards surface-level adversarial attacks via generation of adversarial point clouds. We quantitatively evaluate our methods on both synthetic and physical objects in terms of attack success rate and geometric regularity. For a qualitative evaluation, we conduct subjective studies by collecting human preferences from Amazon Mechanical Turk. Comparative results in comprehensive experiments confirm the advantages of our proposed methods.

연구 동기 및 목표

• 기존 3D 적대적 공격 방법이 눈에 띄는 이상치 포인트를 생성하여 단순 방어 수단에 쉽게 제거되는 한계를 해결하기 위해.
• 2D 이미지 인식과 근본적으로 다름을 고려해 인간의 3D 형태 인식을 모델링하여 적대적 포인트 클라우드의 눈에 띄지 않음을 향상시키기 위해.
• 적대적 포인트 클라우드가 매끄럽고 공정한 기하 표면 성질을 유지하도록 하여 더 현실적이며 탐지하기 어려운 형태를 만들기 위해.
• 재샘플링 또는 물리적 3D 프린팅 이후에도 효과적인 표면 수준의 적대적 공격을 수행할 수 있는 방법을 개발하기 위해.
• 생성된 포인트 클라우드에서 표면 수준의 적대적 효과를 향상시키는 새로운 최적화 프레임워크인 Geo⁺A³-IterNormPro를 제안하기 위해.

제안 방법

• 정상 포인트 클라우드와 적대적 포인트 클라우드 간 국소 표면 곡률의 일관성을 촉진하는 새로운 기하학적 인지 정규화 항을 제안한다.
• 타겟 분류 오류 손실과 기하학적 인지 정규화 항을 조합하여 적대적 포인트 클라우드 생성을 이끌어내는 방법을 제안한다.
• 적대적 표면에서의 매끄러움과 공정성을 명시적으로 장려하는 $Geo_{+}A^{3}$ 목적 함수를 도입한다.
• 반복적 법선 투영(IterNormPro)을 사용하여 새로운 목적 함수를 해결하고 표면 수준의 적대적 효과를 유지하는 $Geo_{+}A^{3}$-IterNormPro 알고리즘을 개발한다.
• 메쉬 재구성(Points2Surf) 및 재샘플링 또는 3D 프린팅을 활용하여 적대적 표면의 물리적 실현 가능성과 강건성을 평가한다.
• 스캐닝된 프린트된 물체를 포함한 합성 및 물리적 평가 파이프라인을 모두 활용하여 물리적 변환 이후의 공격 성공 여부를 검증한다.

실험 결과

연구 질문

• RQ1 매끄럽고 공정한 기하 표면 성질을 고려함으로써 적대적 포인트 클라우드의 눈에 띄지 않음을 향상시킬 수 있는가?
• RQ2 기하학적 인지 목적 함수로 적대적 생성을 정규화하면 단순 이상치 제거 방어에 대해 강건성이 향상되는가?
• RQ3 제안된 방법이 메쉬 재구성 및 재샘플링 이후에도 공격 효과를 유지할 수 있는가?
• RQ4 제안된 방법은 3D 프린팅 및 스캐닝을 포함한 물리 세계의 적대적 공격에서 효과적인가?
• RQ5 새로운 목적 함수 $Geo_{+}A^{3}$는 기존 방법에 비해 더 나은 표면 수준의 적대적 효과를 낼 수 있는가?

주요 결과

• GeoA³는 PointNet, PointNet++, DGCNN 모델에서 기준 방법보다 공격 성공률이 높으며, 특히 물리적 공격 설정에서 두드러진 성능을 보였다.
• 물리 세계 평가에서 15개의 프린트 및 스캔된 적대적 객체 중 11개가 PointNet 분류기를 성공적으로 공격하여 물리적 변환에 대한 강건성을 확인했다.
• 제안된 $Geo_{+}A^{3}$-IterNormPro 방법은 모든 테스트 모델에서 기존의 Tsai 등 [34]의 방법보다 공격 성공률과 기하학적 규칙성 측면에서 뛰어난 성능을 보였다.
• 아마존 Mechanical Turk를 통한 주관적 선호도 연구에서 GeoA³가 생성한 적대적 포인트 클라우드는 기존 방법보다 더 자연스럽고 더 적은 노이즈를 지닌 것으로 평가되었다.
• 시각적 분석 및 메쉬 품질 분석을 통해 Figure 8과 Figure 9에서 GeoA³가 생성한 적대적 포인트 클라우드는 표면 비정상성과 이상치가 현저히 적은 것으로 확인되었다.
• 기하 표면 성질을 적대적 생성에 통합함으로써 더 현실적이며 탐지하기 어려운 적대적 예측을 도출할 수 있음을 입증했다.