[논문 리뷰] Adversarial shape perturbations on 3D point clouds

Daniel Liu, Ronald Yu외 1명|arXiv (Cornell University)|2019. 08. 16.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 5

한 줄 요약

이 논문은 점을 이동시키는 것 외에도 물체의 형상을 변형시켜 3D 포인트 클라우드를 적대적으로 훼손하는 세 가지 새로운 형태 공격을 제안한다. 이러한 공격은 기존의 점 제거 방어 기법을 효과적으로 우회함을 입증한다. 이러한 공격은 PointNet++에서 최대 99.6%의 높은 성공률을 기록함으로써, 무작위, 외곽선, 또는 주목할 만한 점을 제거하는 방어 기법이 적용된 상황에서도 효과를 발휘함을 보여주며, 3D 딥러닝의 강인성에 심각한 취약점을 드러낸다.

ABSTRACT

The importance of training robust neural network grows as 3D data is increasingly utilized in deep learning for vision tasks in robotics, drone control, and autonomous driving. One commonly used 3D data type is 3D point clouds, which describe shape information. We examine the problem of creating robust models from the perspective of the attacker, which is necessary in understanding how 3D neural networks can be exploited. We explore two categories of attacks: distributional attacks that involve imperceptible perturbations to the distribution of points, and shape attacks that involve deforming the shape represented by a point cloud. We explore three possible shape attacks for attacking 3D point cloud classification and show that some of them are able to be effective even against preprocessing steps, like the previously proposed point-removal defenses.

연구 동기 및 목표

• 기존의 분포 기반 훼손 외에 형태 기반 적대적 공격에 대한 3D 포인트 클라우드 분류기의 취약성을 조사하기 위해.
• 실제 전처리 방어 기법에 효과적으로 대응할 수 있도록 3D 물체의 기하학적 구조를 변형시키는 새로운 적대적 공격 방법을 개발하기 위해.
• 특히 점 제거 기법을 포함한 기존 방어 기법의 강인성, 즉 기하학적 형태 훼손에 대한 저항력을 평가하기 위해.
• 형태 인식 적대적 예제에 대해 효과적인 방어 기법이 분포 기반 공격에 효과적인 반면, 형태 기반 공격에는 효과적이지 않음을 입증하기 위해.
• 현재 방어 메커니즘의 한계를 드러내어 더 강인한 3D 딥러닝 모델 설계에 통찰을 제공하기 위해.

제안 방법

• 3D 포인트 클라우드의 표면을 변형시켜 물체의 기하학적 구조를 변경하면서도 의미론적으로 타당한 방식으로 점들을 재배치함으로써, 새로운 형태 공격을 제안한다.
• 3D 신경망(예: PointNet, PointNet++, DGCNN)의 분류 손실을 최대화하기 위해 반복적 기울기 기반 최적화를 사용하며, 형태 변형 제약 조건을 고려한다.
• 형태 공격와 분포 기반 공격의 혼합 전략을 통해 재샘플링되거나 훼손되는 점의 수를 변화시켜 강인성의 상충 관계를 연구한다.
• 무작위 점 제거, 외곽선 제거, 주목할 만한 점 제거와 같은 다양한 방어 기법을 적용하여 공격의 내성 여부를 평가한다.
• 점 제거 방어 기법에 대응하기 위해 각 반복에서 524개의 점을 무작위 드롭아웃하는 수정된 반복 기울기 공격을 적용한다.
• 표준 3D 포인트 클라우드 데이터셋과 표준 아키텍처를 사용하여 공격를 검증하고, 다양한 훼손 크기(ε)와 방어 설정에서 성공률를 측정한다.

실험 결과

연구 질문

• RQ1 점 제거 방어 기법이 적용된 상황에서도 형태 기반 적대적 공격이 3D 포인트 클라우드 분류기를 효과적으로 속일 수 있는가?
• RQ2 점 제거 방어 기법 하에서 형태 공격의 성공률는 분포 기반 공격에 비해 어떻게 비교되는가?
• RQ3 무작위, 외곽선, 또는 주목할 만한 점을 제거하는 기존의 방어 기법이 기하학적 형태 훼손에 얼마나 효과적인가?
• RQ4 훼손 크기(ε)가 형태 공격의 시각적 인식 가능성과 성공률에 어떤 영향을 미치는가?
• RQ5 공격 과정 중에 점을 무작위로 드롭아웃하는 것이 점 제거 방어 기법에 대한 강인성을 향상시키는 데 기여하는가?

주요 결과

• 반복 기울기 $L_2$ 공격는 방어 없이 PointNet에서 99.7%의 성공률, PointNet++에서 100.0%의 성공률를 기록하였으며, 점 제거 방어 기법이 적용된 경우에도 성공률가 높게 유지되었다.
• 재샘플링 형태 공격는 ε=3일 때 PointNet에서 98.7%의 성공률, PointNet++에서 99.6%의 성공률를 기록하였으며, 주목할 만한 점이 제거된 상황에서도 효과를 발휘하였다.
• 주목할 만한 점 제거 방어 기법에 대응하여, 재샘플링 공격는 PointNet++에서 92.3%의 성공률를 유지하였다. 이는 기준 공격 대비 유의미하게 높은 성능이었다.
• 각 반복에서 524개의 점을 무작위 드롭아웃한 결과, 방어된 PointNet에서 반복 기울기 $L_2$ 공격의 성공률는 98.6%에서 98.5%로 약간 감소하였으며, PointNet++ 및 DGCNN에는 거의 영향을 주지 않았다.
• 연구 결과, 시각적 인식 가능성과 강인성 사이에 상충 관계가 존재함을 확인하였다. 형태 공격는 큰 변형보다는 덜 인식 가능하지만, 점 제거 방어 기법에 대해 분포 기반 공격보다 더 효과적이었다.
• 결과적으로, 점 제거 방어 기법은 물체의 기하학적 구조를 변화시키는 형태 공격에 대해 효과적이지 않으며, 현재의 방어 전략에 심각한 격차가 있음을 시사한다.