[논문 리뷰] On Adversarial Robustness of 3D Point Cloud Classification under Adaptive Attacks

Jiachen Sun, Karl Koenig외 3명|arXiv (Cornell University)|2020. 11. 24.

Adversarial Robustness in Machine Learning참고 문헌 54인용 수 5

한 줄 요약

이 논문은 3D 포인트 클러스터 분류에서 고정 풀링 연산(예: MAX 풀링)이 적대적 훈련(AT)의 성능을 떨어뜨린다는 점을 규명하고, 강화된 내성적 저항성을 갖춘 학습 가능한, 정렬 기반 대칭 풀링 레이어인 DeepSym을 제안한다. DeepSym는 AT 하에서 47.0%의 적대적 정확도를 달성하여 기존 PointNet보다 28.5% 높고, 강력한 기준 모델보다도 6.5% 높다.

ABSTRACT

3D point clouds play pivotal roles in various safety-critical applications, such as autonomous driving, which desires the underlying deep neural networks to be robust to adversarial perturbations. Though a few defenses against adversarial point cloud classification have been proposed, it remains unknown whether they are truly robust to adaptive attacks. To this end, we perform the first security analysis of state-of-the-art defenses and design adaptive evaluations on them. Our 100% adaptive attack success rates show that current countermeasures are still vulnerable. Since adversarial training (AT) is believed as the most robust defense, we present the first in-depth study showing how AT behaves in point cloud classification and identify that the required symmetric function (pooling operation) is paramount to the 3D model's robustness under AT. Through our systematic analysis, we find that the default-used fixed pooling (e.g., MAX pooling) generally weakens AT's effectiveness in point cloud classification. Interestingly, we further discover that sorting-based parametric pooling can significantly improve the models' robustness. Based on above insights, we propose DeepSym, a deep symmetric pooling operation, to architecturally advance the robustness to 47.0% under AT without sacrificing nominal accuracy, outperforming the original design and a strong baseline by 28.5% ($\sim 2.6 imes$) and 6.5%, respectively, in PointNet.

연구 동기 및 목표

• 3D 포인트 클러스터 분류에서 최신 방어 기법의 진정된 내성적 저항성을 적응형 공격에 대해 평가하기 위해.
• 특히 풀링 연산과 같은 대칭 함수가 3D 모델에서 적대적 훈련(AT)의 효과성에 미치는 영향을 조사하기 위해.
• 고정 풀링(MAX, SUM 등)의 한계를 규명하고, 매개변수화된 학습 가능한 풀링 메커니즘의 이점 탐색을 위해.
• 기존 성능을 훼손하지 않으면서 내성적 저항성을 향상시키는 새로운 대칭 풀링 연산인 DeepSym를 설계하고 평가하기 위해.

제안 방법

• 기존 방어 기법의 내성적 저항성을 테스트하기 위해, 투영된 경사 하강법(PGD)을 사용해 100% 적응형 화이트박스 공격을 설계하고 실행하기 위해.
• 적대적 훈련 하에서 고정 풀링(MAX, SUM, MEDIAN)과 매개변수화된 풀링(ATT, PMA, SoftPool, FSPool)을 체계적으로 비교하는 분석 연구를 수행하기 위해.
• 딥 네트워크를 대칭 함수에 통합하여 특징 집약을 향상시키는 학습 가능한 정렬 기반 풀링 메커니즘인 DeepSym를 제안하기 위해.
• DeepSym를 PointNet 및 기타 백본에 통합하여 표준 풀링 레이어를 대체하면서도 순열 불변성을 유지하기 위해.
• 다양한 공격 단계(PGD-1, PGD-20, PGD-200)를 가진 PGD 기반 적대적 훈련을 수행하고, ModelNet10과 ModelNet40에서 평가하기 위해.
• DeepSym의 계산적 오버헤드를 평가하기 위해 추론 시간, 파라미터 수, GPU 메모리 사용량을 측정하기 위해.

실험 결과

연구 질문

• RQ1 현재 3D 포인트 클러스터 분류를 위한 방어 기법들은 진정으로 적응형 공격에 대해 내성적 저항성을 갖는가, 아니면 기울기 왜곡에 의존하는가?
• RQ2 고정 풀링 연산(MAX, SUM 등)은 3D 포인트 클러스터 모델에서 적대적 훈련의 효과성에 어떤 영향을 미치는가?
• RQ3 매개변수화된 학습 가능한 풀링 메커니즘은 적대적 훈련 하에서 내성적 저항성을 향상시킬 수 있는가?
• RQ4 정렬 기반 풀링은 3D 포인트 클러스터 분류기의 내성적 저항성과 정확도에 어떤 영향을 미치는가?
• RQ5 기존 성능을 떨어뜨리지 않으면서 내성적 저항성을 향상시키는 새로운 대칭 풀링 레이어를 설계할 수 있는가?

주요 결과

• 검토된 최신 방어 기법들, 즉 DUP-Net과 GvG-PointNet++는 100% 성공률로 적응형 공격에 실패함으로써 기울기 왜곡에 의존하고 있음을 시사한다.
• MAX 및 SUM 풀링과 같은 고정 풀링 연산은 학습 가능성과 유연성의 부족으로 인해 적대적 훈련의 효과를 본질적으로 제한한다.
• 정렬 기반 매개변수화된 풀링 기법(예: SoftPool, PMA)은 명목 정확도에 손상을 주지 않으면서도 MAX 풀링 대비 약 7.3% 향상된 적대적 정확도를 달성한다.
• DeepSym는 ModelNet40에서 PGD-200 하에서 47.0%의 적대적 정확도를 기록하여 표준 MAX 풀링 대비 28.5% 향상되었고, SoftPool 대비 6.5% 향상되었다.
• DeepSym는 ModelNet10에서 높은 명목 정확도(88.5%)를 유지하며, 다양한 PGD 공격 설정과 데이터셋에서 일관된 내성적 저항성 향상을 보였다.
• DeepSym의 계산적 오버헤드는 미미함—3.10ms의 추론 시간과 140만 개의 파라미터—으로서 추가적인 복잡성에도 불구하고 실용적임을 입증하였다.