[논문 리뷰] Deflecting 3D Adversarial Point Clouds Through Outlier-Guided Removal.

Hang Zhou, Kejiang Chen외 4명|arXiv (Cornell University)|2018. 12. 25.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 통계적 이방점 제거(SOR)를 비미분 가능한 노이즈 제거기로 사용하고, 데이터 기반 업샘플링 네트워크를 통해 매끄러운 표면을 복원하는 3D 포인트 클라우드 분류를 위한 방어 기법 DUP-Net을 제안한다. PointNet에서 200개의 포인트가 제거된 조건에서 C&W 및 l₂ 기반의 적대적 공격(포인트 이동)에 대해 83.8%의 성공률을 기록하여 백색 상자 공격에 대해 뛰어난 강건성을 입증한다.

ABSTRACT

Neural networks are vulnerable to adversarial examples, which poses a threat to their application in security sensitive systems. We propose a Denoiser and UPsampler Network (DUP-Net) structure as defenses for 3D adversarial point cloud classification, where the two modules reconstruct surface smoothness by dropping or adding points. In this paper, statistical outlier removal (SOR) and a data-driven upsampling network are considered as denoiser and upsampler respectively. Compared with baseline defenses, DUP-Net has three advantages. First, with DUP-Net as a defense, the target model is more robust to white-box adversarial attacks. Second, the statistical outlier removal provides added robustness since it is a non-differentiable denoising operation. Third, the upsampler network can be trained on a small dataset and defends well against adversarial attacks generated from other point cloud datasets. We conduct various experiments to validate that DUP-Net is very effective as defense in practice. Our best defense eliminates 83.8% of C&W and l_2 loss based attack (point shifting), 50.0% of C&W and Hausdorff distance loss based attack (point adding) and 9.0% of saliency map based attack (point dropping) under 200 dropped points on PointNet.

연구 동기 및 목표

• 보안 중심 응용 분야에서 3D 딥러닝 모델의 적대적 포인트 클라우드 공격에 대한 취약성을 해결하기 위해.
• 백색 상자 및 전이 가능 적대적 공격에 모두 강건한 방어 기법을 개발하기 위해.
• 기울기 기반 최적화가 필요 없이도 강건성을 향상시킬 수 있도록 비미분 가능한 통계적 이방점 제거(SOR)를 활용하기 위해.
• 다양한 포인트 클라우드 데이터셋에 일반화 가능한 경량의 학습 가능한 업샘플러 네트워크를 통해 효과적인 방어를 가능하게 하기 위해.
• 포인트 제거, 이동, 추가를 포함한 현실적인 공격 시나리오에서 방어의 효과성을 검증하기 위해.

제안 방법

• DUP-Net 방어 프레임워크는 국소 포인트 밀도 기반으로 이상치를 식별하고 제거함으로써 적대적 포인트를 걸러내는 통계적 이방점 제거(SOR) 모듈을 통합한다.
• 학습 가능한 업샘플링 네트워크를 활용해 희소 영역에 포인트를 추가함으로써, 적대적 변형으로 인해 손실된 기하학적 구조를 복원한다.
• SOR 구성 요소는 비미분 가능하므로, 역전파 동안 기울기 기반 적대적 공격의 효과를 줄여 강건성을 향상시킨다.
• 다양하고 소규모의 데이터셋에서 학습된 업샘플링 네트워크는 다양한 포인트 클라우드 분포에 일반화되며, 다른 데이터셋에서 유도된 공격에 대비한 방어가 가능하다.
• 두 모듈인 노이즈 제거기(SOR)와 업샘플러는 순차적으로 적용된다: 먼저 SOR이 의심스러운 포인트를 제거하고, 그 다음 업샘플러가 표면 기하학을 복원한다.
• C&W의 l₂ 손실, 하우스도르프 거리 손실, 시냅스 맵 기반 공격 등 다양한 적대적 공격 유형에 대해 PointNet 기반으로 종합적으로 평가된다.

실험 결과

연구 질문

• RQ1 비미분 가능한 노이즈 제거 단계인 SOR이 3D 포인트 클라우드 분류기의 백색 상자 적대적 공격에 대해 강건성을 향상시키는가?
• RQ2 경량의 데이터 기반 업샘플링 네트워크는 적대적 포인트 제거 이후 기하학적 정밀도를 어느 정도 복원할 수 있는가?
• RQ3 DUP-Net는 다른 포인트 클라우드 데이터셋에서 유도된 전이 가능 적대적 공격에 대해 어느 정도 효과적으로 방어하는가?
• RQ4 SOR와 학습 가능한 업샘플링의 조합이 3D 분류 모델의 전체 강건성에 어떤 영향을 미치는가?
• RQ5 다양한 공격 유형에서 포인트 수가 변할 경우(예: 200개의 포인트 제거) DUP-Net의 성능은 어떻게 되는가?

주요 결과

• DUP-Net는 PointNet에서 200개의 포인트가 제거된 조건에서 C&W 및 l₂ 손실 기반의 적대적 공격(포인트 이동)에 대해 83.8%의 성공률을 기록하여 강력한 강건성을 입증한다.
• 동일한 200포인트 변형 조건에서 C&W 및 하우스도르프 거리 손실 기반 공격(포인트 추가 포함)의 성공률을 50.0% 감소시켰다.
• 포인트 제거를 포함한 시냅스 맵 기반 공격에 대해서도 DUP-Net는 여전히 9.0%의 공격 방어 성공률을 기록하여, 공격의 성격에도 불구하고 부분적인 내성성을 보였다.
• 비미분 가능한 SOR 구성 요소는 기울기 기반 적대적 최적화가 방어 기법을 효과적으로 공격하지 못하도록 하여 강건성 향상에 기여했다.
• 업샘플링 네트워크는 잘 일반화되어 있어, 업샘플러 학습에 사용된 데이터셋과 다른 데이터셋에서 유도된 적대적 예제에 대해서도 효과적인 방어가 가능했다.
• 전반적으로, SOR와 학습 가능한 업샘플링 메커니즘의 상호보완적 작용 덕분에 DUP-Net는 특히 백색 상자 공격 상황에서 베이스라인 방어 기법보다 강건성 면에서 뛰어난 성능을 보였다.