[논문 리뷰] Nudge Attacks on Point-Cloud DNNs

Yiren Zhao, Ilia Shumailov외 2명|arXiv (Cornell University)|2020. 11. 22.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 5

한 줄 요약

이 논문은 딥 네URAL 네트워크(DNNs)를 속이기 위해 3D 포인트 클라우드의 몇몇 점만을 수정하는 '누르기 공격(nudge attacks)'을 소개한다. 기울기 기반 및 진화 알고리즘 기반 방법을 사용하여, 저자들은 단 한 개의 점만을 변형시켜 DGCNN에서 예측을 뒤집는 데 36.54%의 성공률를 달성할 수 있음을 보여주며, 다양한 모델 간에 높은 이동성(transferability)을 보이며 자율주행 차량과 같은 LiDAR 기반 시스템에 현실적인 위협이 된다.

ABSTRACT

The wide adaption of 3D point-cloud data in safety-critical applications such as autonomous driving makes adversarial samples a real threat. Existing adversarial attacks on point clouds achieve high success rates but modify a large number of points, which is usually difficult to do in real-life scenarios. In this paper, we explore a family of attacks that only perturb a few points of an input point cloud, and name them nudge attacks. We demonstrate that nudge attacks can successfully flip the results of modern point-cloud DNNs. We present two variants, gradient-based and decision-based, showing their effectiveness in white-box and grey-box scenarios. Our extensive experiments show nudge attacks are effective at generating both targeted and untargeted adversarial point clouds, by changing a few points or even a single point from the entire point-cloud input. We find that with a single point we can reliably thwart predictions in 12--80% of cases, whereas 10 points allow us to further increase this to 37--95%. Finally, we discuss the possible defenses against such attacks, and explore their limitations.

연구 동기 및 목표

• 기존의 포인트 클라우드 적대적 공격가 지나치게 많은 수의 점을 변형시켜야 하는 실용적 타당성 격차를 해결하고자 한다.
• 최소한의 변형—일부 점에서부터 수십 점 이내—으로도 현대의 포인트 클라우드 DNN을 성공적으로 속일 수 있는지 탐색하고자 한다.
• 이러한 최소 변형 공격이 다양한 모델 아키텍처 간에 이동성(transferability)을 보이며, 블랙박스 공격을 가능하게 하는지 평가하고자 한다.
• 일반적인 방어 조치, 예를 들어 점 제거 기법이 이러한 저비용 공격에 얼마나 효과적인지 평가하고자 한다.
• 누르기 공격가 반사 물체나 레이저 저지 장치를 사용해 실제 LiDAR 스푸핑 공격에 실용적으로 적용될 수 있음을 보여주고자 한다.

제안 방법

• 화이트박스 환경을 위한 기울기 기반 누르기 공격를 제안하며, 손실 기울기를 사용해 입력 포인트 클라우드에서 가장 취약한 점을 식별하고 이를 변형한다.
• 그레이박스 설정을 위한 진화 알고리즘 기반의 의사결정 기반 공격를 도입하며, 클래스 확률만 접근 가능한 상황에서 상호작용이 가능하고 저비용의 공격를 가능하게 한다.
• 두 변형 모두에 대해 타겟 공격 및 언타겟 공격 프레임워크를 적용하여 원하는 잘못된 분류 결과를 제어할 수 있도록 한다.
• 이동성 평가 프로토콜을 적용하여, 한 모델(예: PointNet)에서 생성된 적대적 샘플이 다른 모델(예: DGCNN 또는 PointNet*)에서 테스트되었을 때의 성공률를 측정한다.
• 기본적인 블라인드 방어로 점 제거 방식을 구현하며, 원점에서 가장 먼 k개의 점을 필터링하여 외곽치에 대한 저항력을 시뮬레이션한다.
• 평가를 위해 ModelNet10 및 ModelNet40 데이터셋을 사용하며, 주요 공격 대상으로 DGCNN과 PointNet을 사용한다.

실험 결과

연구 질문

• RQ1 일부 점(예: 1개 또는 10개)만 변형시켜도 적대적 포인트 클라우드 공격가 효과적으로 작동할 수 있는가?
• RQ2 화이트박스와 그레이박스 환경 간에 누르기 공격의 성공률는 어떻게 달라지며, 각 환경에서 높은 성능을 내는 공격 전략은 무엇인가?
• RQ3 누르기 공격는 다양한 포인트 클라우드 DNN 아키텍처 간에 얼마나 이동성이 있는가? 이는 블랙박스 공격를 가능하게 하는가?
• RQ4 일반적인 블라인드 방어 조치, 예를 들어 점 제거는 공격 예산이 증가함에 따라 누르기 공격를 효과적으로 억제할 수 있는가?
• RQ5 누르기 공격는 자율주행 차량의 LiDAR 시스템과 같은 실제 시스템에 어떤 실용적 영향을 미치는가?

주요 결과

• DGCNN 모델에서 ModelNet40 분류 작업에 대해 단일 점 누르기 공격가 36.54%의 성공률를 기록하며, 높은 실용적 타당성을 입증한다.
• 10개의 점을 변형시킬 경우, 다양한 모델과 공격 유형에서 성공률가 37~95%로 증가하며, 공격 예산 증가에 따라 강력한 스케일러빌리티를 보인다.
• 기존 방법보다 훨씬 높은 이동성을 보이며, PointNet 소스 모델에서 1점 누르기 공격를 사용해 DGCNN에서 33.5%의 성공률, PointNet*에서 19.9%의 성공률를 기록한다.
• 가장 먼 k개의 점을 필터링하는 점 제거 방어 조치를 적용한 후에도, 누르기 공격는 여전히 뚜렷한 성공률를 유지한다—1점 공격의 경우 약 20%, 150점 공격의 경우 약 70%의 성공률를 기록한다.
• 간단한 방어 조치에도 불구하고 누르기 공격의 성공률가 지속되며, 이는 현재의 블라인드 방어 조치가 이러한 저비용·고영향력 공격를 차단하는 데 부적절함을 시사한다.
• 타겟 및 언타겟 공격 설정 양쪽 모두에서 공격가 매우 효과적이며, 반사 물체 부착 또는 레이저 저지 장치를 사용해 물리적 방식으로도 실행 가능하다.