[논문 리뷰] IF-Defense: 3D Adversarial Point Cloud Defense via Implicit Function based Restoration

Ziyi Wu, Yueqi Duan외 3명|arXiv (Cornell University)|2020. 10. 11.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 32

한 줄 요약

IF-Defense는 기하 인식 제약과 분포 인식 제약 하에 암시적 함수 표면을 통해 포인트 좌표를 최적화하여 공격된 포인트 구름으로부터 깨끗한 3D 포인트 구름을 복원하고, 여러 포인트 구름 네트워크에서 최첨단 방어 성능을 달성한다.

ABSTRACT

Point cloud is an important 3D data representation widely used in many essential applications. Leveraging deep neural networks, recent works have shown great success in processing 3D point clouds. However, those deep neural networks are vulnerable to various 3D adversarial attacks, which can be summarized as two primary types: point perturbation that affects local point distribution, and surface distortion that causes dramatic changes in geometry. In this paper, we simultaneously address both the aforementioned attacks by learning to restore the clean point clouds from the attacked ones. More specifically, we propose an IF-Defense framework to directly optimize the coordinates of input points with geometry-aware and distribution-aware constraints. The former aims to recover the surface of point cloud through implicit function, while the latter encourages evenly-distributed points. Our experimental results show that IF-Defense achieves the state-of-the-art defense performance against existing 3D adversarial attacks on PointNet, PointNet++, DGCNN, PointConv and RS-CNN. For example, compared with previous methods, IF-Defense presents 20.02% improvement in classification accuracy against salient point dropping attack and 16.29% against LG-GAN attack on PointNet. Our code is available at https://github.com/Wuziyi616/IF-Defense.

연구 동기 및 목표

• 지오메트리 및 표면을 교란하는 적대적 공격에 취약한 3D 포인트 구름 네트워크의 취약점을 다룬다.

제안 방법

• 극단적 교란을 완화하기 위해 Statistical Outlier Removal (SOR)로 입력을 전처리한다
• 깨끗한 데이터에서 암시적 함수 네트워크를 학습해 물체 표면을 추정하고 복원을 안내한다
• 추정된 표면에 포인트를 정렬하는 기하 인식 손실을 최소화하여 입력 포인트 좌표를 최적화한다
• k-최근접 이웃 간의 거리를 최대화하여 균일한 포인트 분포를 촉진하는 분포 인식 손실을 적용한다
• 두 가지 구현 변형: 재메싱 기반 IF-Defense(마칭 큐브 및 메시 샘플링 사용)와 최적화 기반 IF-Defense(직접 포인트 좌표 최적화)
• 다수의 백본(PointNet, PointNet++, DGCNN, PointConv, RS-CNN)과 공격(교란, 추가, k-NN, 제거, LG-GAN, AdvPC)에 걸쳐 평가한다
• 암시적 표면 표현과 재구성을 위해 ConvONet(대안으로 ONet도 사용)

실험 결과

연구 질문

• RQ1 국지 기하와 표면을 변화시키는 적대적 교란을 3D 포인트 구름에 대해 어떻게 완화할 수 있는가?
• RQ2 암시적 함수 기반 표면 복원이 다양한 3D 아키텍처 및 공격에 걸쳐 강인성을 향상시킬 수 있는가?
• RQ3 공격 하에 깨끗한 포인트 구름을 복원하는 데 재메싱과 직접 최적화의 상대적 효과는 무엇인가?
• RQ4 강력한 적응형 및 블랙 박스 적대자에 대해 IF-Defense의 성능은 어떤가?

주요 결과

• IF-Defense는 PointNet, PointNet++, DGCNN, PointConv, RS-CNN 전반에 걸쳐 다양한 3D 공격에 대해 기존의 방어를 지속적으로 능가한다.
• ConvONet과 함께한 최적화 기반 IF-Defense가 종종 최상의 성능을 낳아 재메싱 기반 변형을 능가한다.
• ConvONet은 암시적 표면 표현에서 일반적으로 ONet과 동등하거나 더 우수한 결과를 제공한다.
• 적응형 공격은 방어 효율을 저하시키지만 ConvONet을 이용한 OURS-Opt은 테스트된 모든 모델에서 여전히 60% 이상의 정확도를 유지한다.
• DUP-Net은 특정 백본에서 로컬 포인트 분포에 민감하여 효과가 떨어질 수 있는 반면, IF-Defense는 균일한 포인트 분포와 강건한 그래프를 촉진한다.
• 초록은 이전 방법과 비교하여 PointNet에서 두드러진 포인트 드롭에 대해 20.02%, LG-GAN에 대해 16.29%의 구체적 이득을 보고한다.