[논문 리뷰] ShapeAdv: Generating Shape-Aware Adversarial 3D Point Clouds

Kibok Lee, Zhuoyuan Chen외 3명|arXiv (Cornell University)|2020. 05. 24.

Adversarial Robustness in Machine Learning참고 문헌 69인용 수 7

한 줄 요약

ShapeAdv는 3D 포인트 클라우드 오토인코더의 잠재공간에 노이즈를 주입하여 형태에 민감한 적대적 3D 포인트 클라우드를 생성하는 새로운 프레임워크를 제안한다. 이는 원래의 형태 유지 능력을 유지하면서도 현실적인 기하학적 및 구조적 변형을 가능하게 하며, 기존의 포인트 기반 공격에 비해 공격 성공률과 전이 가능성에서 뛰어난 성능을 보인다. 이는 일반적인 방어 기법에 대해 더 높은 강건성을 보여준다.

ABSTRACT

We introduce ShapeAdv, a novel framework to study shape-aware adversarial perturbations that reflect the underlying shape variations (e.g., geometric deformations and structural differences) in the 3D point cloud space. We develop shape-aware adversarial 3D point cloud attacks by leveraging the learned latent space of a point cloud auto-encoder where the adversarial noise is applied in the latent space. Specifically, we propose three different variants including an exemplar-based one by guiding the shape deformation with auxiliary data, such that the generated point cloud resembles the shape morphing between objects in the same category. Different from prior works, the resulting adversarial 3D point clouds reflect the shape variations in the 3D point cloud space while still being close to the original one. In addition, experimental evaluations on the ModelNet40 benchmark demonstrate that our adversaries are more difficult to defend with existing point cloud defense methods and exhibit a higher attack transferability across classifiers. Our shape-aware adversarial attacks are orthogonal to existing point cloud based attacks and shed light on the vulnerability of 3D deep neural networks.

연구 동기 및 목표

• 기존의 임의의 포인트 노이즈가 아닌 현실적인 형태 변화를 반영하는 적대적 공격에 취약한 3D 딥 네트워크 문제를 해결하기 위해.
• 원래 형태에 가까운 기하학적 및 구조적 변형을 가진 적대적 3D 포인트 클라우드를 생성하는 방법을 개발하기 위해.
• 오토인코더에서 학습된 잠재공간을 형태에 민감한 적대적 노이즈의 다양체로 활용할 수 있는지 탐색하기 위해.
• 기존 방어 기법(예: 이방성 점 제거 및 오토인코더 기반 방어)에 대한 이러한 공격의 강건성 평가하기 위해.
• PointNet++ 및 DGCNN와 같은 다른 모델로의 블랙박스 전이 가능성 향상 입증하기 위해.

제안 방법

• 포인트 클라우드 오토인코더를 이용해 형태를 대표하는 압축된 잠재공간을 학습하여 형태 다양체를 근사한다.
• 세 가지 변형을 사용해 잠재공간에 적대적 노이즈를 주입한다: 잠재공간 ℓ₂, 카메프 거리 기반, 보조 지도 기반 형태 변형.
• 학습된 디코더를 사용해 노이즈가 주입된 잠재 코드를 다시 3D 포인트 클라우드 공간으로 매핑하여 기하학적 변형 최소화된 적대적 예제 생성.
• 동일한 카테고리의 보조 포인트 클라우드를 활용해 형태 변형을 유도하여 유사한 물체 간의 형태 변형 유사 전이 가능하게 한다.
• ModelNet40 벤치마크를 기반으로 PointNet 분류기에서 공격를 학습 및 평가하며, 포인트 이동 및 클러스터/물체 추가와 같은 기준 공격과 비교한다.
• 희박한 이방성 점 제거(SOR) 및 오토인코더 기반 방어를 사용해 방어 성능 평가하고, ShapeAdv의 강건성 분석.

실험 결과

연구 질문

• RQ1 포인트 클라우드 오토인코더의 잠재공간에서의 적대적 노이즈가 원래 형태 유지 능력을 유지하면서도 현실적인 형태 변화를 생성할 수 있는가?
• RQ2 이방성 점 제거 또는 오토인코더 기반 방어를 적용했을 때, 형태에 민감한 적대적 공격는 기존 포인트 기반 공격보다 강건한가?
• RQ3 PointNet++ 및 DGCNN와 같은 다른 3D 포인트 클라우드 분류기로의 ShapeAdv 공격 전이 가능성은 어느 정도인가? (다른 가중치 초기화 방식 포함)
• RQ4 오토인코더 아키텍처 선택(MLP 대비 AtlasNet)이 적대적 노이즈의 성격과 탐지 가능성에 어떤 영향을 미치는가?
• RQ5 학습된 잠재공간을 공격 생성 외에도, 복원 및 적대적 노이즈 제거를 통해 방어에 활용할 수 있는가?

주요 결과

• ShapeAdv 공격는 기하학적 변형을 최소화하면서 PointNet에서 100% 공격 성공률를 달성하며, 기존 방어 기법에 대한 강건성에서 기준 공격을 능가한다.
• 전역 기하학적 변형을 유도하는 MLP 기반 ShapeAdv 변형은 국소 표면 변형을 유도하는 AtlasNet 기반 변형보다 방어에 훨씬 더 강건하다.
• ShapeAdv로 생성된 적대적 포인트 클라우드는 다른 모델로의 전이 가능성에서 뛰어난 성능을 보이며, PointNet++과 DGCNN에서 각각 24.7% 및 23.5%의 성공률 기록하여 모든 기준 방법을 초월한다.
• 희박한 이방성 점 제거(SOR) 및 오토인코더 기반 필터링과 같은 방어 기법은 ShapeAdv에 대해 특히 전역 형태 변화를 유도할 경우 효과가 떨어진다.
• 보조 지도 기반 변형은 동일 카테고리의 물체 간 형태 전이 유사한 변형을 유도하는 적대적 예제를 성공적으로 생성하여 형태에 민감한 변형을 입증한다.
• 클러스터나 물체 추가 공격에 비해 원본 및 적대적 형태 간의 카메프 거리가 ShapeAdv에서 더 낮아 형태 유지 능력이 뛰어나다.