[논문 리뷰] On The Adversarial Robustness of 3D Point Cloud Classification

Jiachen Sun, Karl Koenig외 3명|arXiv (Cornell University)|2021. 05. 04.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 14

한 줄 요약

이 논문은 3D 포인트 클라우드 분류를 위한 기존 방어 기법에서 심각한 취약점을 규명하며, 최신 기법들에 대해 100% 공격 성공률을 입증한다. 또한 대칭 풀링 연산—특히 새로운 딥 대칭 풀링 레이어(DeepSym)가—적응형 공격에 대한 강건성을 크게 향상시키며, 정상 데이터 정확도를 희생시키지 않은 채 PointNet에서 47.01%의 강건한 정확도를 달성한다.

ABSTRACT

3D point clouds play pivotal roles in various safety-critical fields, such as autonomous driving, which desires the corresponding deep neural networks to be robust to adversarial perturbations. Though a few defenses against adversarial point cloud classification have been proposed, it remains unknown whether they can provide real robustness. To this end, we perform the first security analysis of state-of-the-art defenses and design adaptive attacks on them. Our 100% adaptive attack success rates demonstrate that current defense designs are still vulnerable. Since adversarial training (AT) is believed to be the most effective defense, we present the first in-depth study showing how AT behaves in point cloud classification and identify that the required symmetric function (pooling operation) is paramount to the model's robustness under AT. Through our systematic analysis, we find that the default used fixed pooling operations (e.g., MAX pooling) generally weaken AT's performance in point cloud classification. Still, sorting-based parametric pooling operations can significantly improve the models' robustness. Based on the above insights, we further propose DeepSym, a deep symmetric pooling operation, to architecturally advance the adversarial robustness under AT to 47.01% without sacrificing nominal accuracy, outperforming the original design and a strong baseline by 28.5% (∼2.6×) and 6.5%, respectively, in PointNet.

연구 동기 및 목표

• 3D 포인트 클라우드 분류에서 적응형 공격에 대한 기존 방어 기법의 실제 강건성 평가
• 3D 포인트 클라우드 모델에서 적응형 훈련(AT)이 최적의 성능을 내지 못하는 이유 탐구
• 풀링 연산이 3D 분류에서 AT의 효과성에 미치는 영향 규명
• 정상 정확도를 저하시키지 않으면서도 강건성을 향상시키는 새로운 풀링 메커니즘 설계
• 적응형 훈련 하에서 3D 포인트 클라우드 분류 분야에서 최신 기준의 강건한 정확도 달성

제안 방법

• 적응형 공격를 활용해 최신 방어 기법의 체계적 보안 분석을 수행하여 강건성 평가
• 3D 포인트 클라우드 네트워크에서 적응형 훈련의 행동을 분석하고, 강건성을 확보하기 위해 대칭 풀링 연산의 필요성을 규명
• 고정 풀링 연산(MAX 풀링 등)과 정렬 기반 파라미터 풀링을 비교하여 강건성에 미치는 영향 평가
• 공간 순서를 유지하면서 구조적 특징 집약을 통해 강건성을 향상시키는 학습 가능한 대칭 풀링 레이어인 DeepSym 제안
• DeepSym를 PointNet에 통합하고, 적응형 훈련 하에서 모델을 훈련하여 강건성과 정상 정확도 평가
• 청결한 예와 공격적 예를 모두 사용해 표준 벤치마크에서 모델 평가를 수행하여 강건한 정확도와 일반화 능력 측정

실험 결과

연구 질문

• RQ1 현재 3D 포인트 클라우드 분류를 위한 방어 기법은 적응형 공격에 대해 진정으로 강건한가?
• RQ2 왜 적응형 훈련은 3D 포인트 클라우드 분류 모델에서 강력한 강건성을 달성하지 못하는가?
• RQ3 다양한 풀링 연산은 적응형 훈련으로 훈련된 모델의 강건성에 어떻게 영향을 미치는가?
• RQ4 학습 가능한 대칭 풀링 메커니즘은 3D 포인트 클라우드 네트워크에서 강건성을 향상시킬 수 있는가?
• RQ5 DeepSym와 같은 새로운 풀링 설계는 정상 정확도를 저하시키지 않으면서 얼마나 강건한 정확도를 향상시킬 수 있는가?

주요 결과

• 평가된 모든 최신 방어 기법이 적응형 공격를 통해 100% 성공률로 무너졌으며, 이는 실제 강건성이 결여되어 있음을 시사한다.
• 고정 풀링 연산(MAX 풀링 등)은 3D 포인트 클라우드 분류에서 적응형 훈련의 효과를 약화시킨다.
• 정렬 기반 파라미터 풀링 연산은 고정 풀링에 비해 강건성을 크게 향상시킨다.
• 제안된 DeepSym 레이어는 적응형 훈련 하에서 PointNet에서 47.01%의 강건한 정확도를 달성하며, 원본 모델 대비 28.5% 향상되었다.
• DeepSym는 강력한 베이스라인 대비 강건한 정확도를 6.5% 향상시켰으며, 동일한 정상 정확도를 유지했다.
• 연구는 대칭 함수 설계—특히 풀링을 통한 설계—가 3D 포인트 클라우드 모델에서 적응형 훈련 하에서 높은 강건성을 달성하는 데 핵심적임을 확인했다.