[논문 리뷰] 3D Adversarial Attacks Beyond Point Cloud

Jinlai Zhang, Lyujie Chen외 6명|arXiv (Cornell University)|2021. 04. 25.

Adversarial Robustness in Machine Learning참고 문헌 53인용 수 5

한 줄 요약

이 논문은 점군이 아닌 메시 표현을 직접 변형하는 새로운 3D 적대적 공격인 Mesh Attack을 제안한다. 이는 물리적으로 실현 가능한 공격을 가능하게 한다. 기울기 기반 최적화를 통해 메시 정점 위치를 직접 최적화하고, 미분 가능한 샘플링 모듈과 세 가지 메시 정규화 손실(체이머, 라플라시안, 엣지 길이)을 도입함으로써, 매끄럽고 인쇄 가능한 적대적 메시를 생성한다. 이는 디지털 및 물리적 환경에서 기존의 점군 기반 공격보다 우수한 성능을 보이며, 다양한 방어 기법에 대해 최상의 성능을 달성한다.

ABSTRACT

Recently, 3D deep learning models have been shown to be susceptible to adversarial attacks like their 2D counterparts. Most of the state-of-the-art (SOTA) 3D adversarial attacks perform perturbation to 3D point clouds. To reproduce these attacks in the physical scenario, a generated adversarial 3D point cloud need to be reconstructed to mesh, which leads to a significant drop in its adversarial effect. In this paper, we propose a strong 3D adversarial attack named Mesh Attack to address this problem by directly performing perturbation on mesh of a 3D object. In order to take advantage of the most effective gradient-based attack, a differentiable sample module that back-propagate the gradient of point cloud to mesh is introduced. To further ensure the adversarial mesh examples without outlier and 3D printable, three mesh losses are adopted. Extensive experiments demonstrate that the proposed scheme outperforms SOTA 3D attacks by a significant margin. We also achieved SOTA performance under various defenses. Our code is available at: https://github.com/cuge1995/Mesh-Attack.

연구 동기 및 목표

• 점군 기반의 변형이 메시로 재구성될 때 심하게 악화되는 3D 적대적 공격의 물리적 실현 가능성 격차를 해결하기 위해.
• 메시에서 점군으로의 재구성 파이프라인을 거치더라도 강력한 오도 능력을 유지하는 메시 기반의 적대적 공격을 개발하기 위해.
• 생성된 적대적 메시가 매끄럽고 인쇄 가능하며, SOR과 같은 방어 필터를 유발할 수 있는 이질적 요소가 없도록 보장하기 위해.
• 다양한 최신 방어 기법에 대한 공격의 강건성을 평가하기 위해.
• 기존에 탐색되지 않은 공격 표면인 메시 기반 딥 러닝 모델에 대한 메시 기반 적대적 예제의 전이 가능성(transferability)을 입증하기 위해.

제안 방법

• 기울기 기반 최적화를 통해 메시 정점 위치를 직접 최적화하고, 점군 재구성 과정을 회피한다.
• 미분 가능한 샘플링 모듈을 통해 점군 분류기 손실에서 메시 정점으로의 역전파를 가능하게 하여 엔드 투 엔드 학습을 실현한다.
• 세 가지 정규화 손실을 적용한다: 기하학적 충실도 유지를 위한 체이머 손실, 메시의 매끄러움을 유지하기 위한 라플라시안 손실, 자기 교차 및 정점 이격을 방지하기 위한 엣지 길이 손실.
• 반복 최적화 기반의 공격 방식을 통해, 오분류를 극대화하면서 기하학적 왜곡을 최소화하도록 메시 정점을 갱신한다.
• 점군 공격에서 흔히 발생하는 이질적 요소가 포함된 변형을 피함으로써, 적대적 예제가 3D 프린팅에 적합함을 보장한다.
• 다양한 방어 기법에 대한 검증과 메시 분류기에서의 블랙박스 설정에서의 테스트를 수행한다.

Figure 1 : Motivation. Adversarial examples crafted by the KNN attack [ 36 ] , the $GeoA^{3}$ attack [ 43 ] and our proposed Mesh Attack on the Pointnet [ 26 ] . The $Adv_{pc}$ and $Adv_{mesh}$ denote the adversarial point cloud and the adversarial mesh, respectively. The $Adv_{mesh}$ of KNN attack

실험 결과

연구 질문

• RQ1 메시 기반의 적대적 공격가 점군 기반 공격보다 물리 세계 적용 가능성에서 뛰어나게 성능을 높일 수 있는가?
• RQ2 점군 분류기에서 유도된 기울기를 효과적으로 메시 정점으로 역전파하여 직접적인 메시 최적화를 수행할 수 있는가?
• RQ3 메시 전용 정규화 손실이 적대적 예제의 물리적 실현 가능성과 강건성에 얼마나 기여하는가?
• RQ4 SOR, SRS, DUP-Net, IF-Defense와 같은 최신 점군 방어 기법에 대해 제안된 공격의 효과는 어느 정도인가?
• RQ5 메시에서 생성된 적대적 예제가 메시 기반 딥 러닝 모델로 전이되어 성공적으로 오도할 수 있는가?

주요 결과

• Mesh Attack는 가짜 물리적 환경에서 PointNet에 대해 100%의 공격 성공률를 기록했으며, KNN 및 GeoA³ 공격가 10% 미만으로 급격히 떨어지는 것과 비교해 뚜렷한 우월성을 보였다.
• IF-Defense 하에서 Mesh Attack은 DGCNN에 대해 63.83%의 성공률를 유지했으며, 비교된 모든 공격 중에서 가장 높은 성능을 보였다. 이는 점 변형 공격조차도 포함되어 있다.
• SOR 및 SRS 방어 기법 하에서도 공격가 효과를 유지했다. 이는 메시 기반 예제에 이질적 요소가 없기 때문에, 일반적으로 이질적 요소에 민감한 점군 공격에 효과적인 SOR 및 SRS 방어 기법에도 강건하기 때문이다.
• 블랙박스 전이 공격에서 Mesh Attack은 MeshNet에서 27.19%의 오분류율을 기록했으며, 메시 분류기로의 전이 가능성(transferability)을 입증했다.
• 체이머, 라플라시안, 엣지 길이 손실의 조합이 메시 아티팩트(자기 교차, 정점 이격 등)를 효과적으로 방지하여 3D 프린팅 가능성을 확보했다.
• 결과적으로 메시 기반 공격는 점군 기반 공격보다 방어하기 훨씬 어려운 것으로 나타났으며, 3D 적대적 강건성의 새로운 영역을 제시한다.

Figure 2 : Comparison between our Mesh Attack (top row) and previous point cloud attacks (bottom row) in pseudo physical scenarios. $R$ denotes the process of reconstructing mesh from the point cloud. $S$ denotes the process of the sampling point cloud from mesh surface. $P$ denotes point cloud clas