[논문 리뷰] Be Careful with Rotation: A Uniform Backdoor Pattern for 3D Shape

Linkun Fan, Fazhi He외 4명|arXiv (Cornell University)|2022. 11. 28.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 3D 모양에 대해 노이즈가 섞인 회전을 활용하여 이질적인 3D 데이터 구조(예: 포인트 클라우드 및 메시) 간에 이식 가능하고 눈에 띄지 않는 백도어 공격을 가능하게 하는 균일한 백도어 패턴인 NRBdoor을 제안한다. 이는 최신 3D 메시 신경망에서 100% 공격 성공률를 기록하며 최소한의 정확도 저하를 보이며, 사전 기반 방어를 회피함으로써 3D 메시 DNN에 대한 첫 번째 성공적인 백도어 임플란트를 이루었다.

ABSTRACT

For saving cost, many deep neural networks (DNNs) are trained on third-party datasets downloaded from internet, which enables attacker to implant backdoor into DNNs. In 2D domain, inherent structures of different image formats are similar. Hence, backdoor attack designed for one image format will suite for others. However, when it comes to 3D world, there is a huge disparity among different 3D data structures. As a result, backdoor pattern designed for one certain 3D data structure will be disable for other data structures of the same 3D scene. Therefore, this paper designs a uniform backdoor pattern: NRBdoor (Noisy Rotation Backdoor) which is able to adapt for heterogeneous 3D data structures. Specifically, we start from the unit rotation and then search for the optimal pattern by noise generation and selection process. The proposed NRBdoor is natural and imperceptible, since rotation is a common operation which usually contains noise due to both the miss match between a pair of points and the sensor calibration error for real-world 3D scene. Extensive experiments on 3D mesh and point cloud show that the proposed NRBdoor achieves state-of-the-art performance, with negligible shape variation.

연구 동기 및 목표

• 포인트 클라우드 및 메시와 같은 이질적인 3D 데이터 구조 간에 이식 가능한 백도어 패턴이 부족한 문제를 해결하기 위해.
• 기하학적 및 위상적 구조를 유지하여 메시 기반 DNN와의 호환성을 확보하는 백도어 패턴을 설계하기 위해.
• 센서 노이즈 및 캘리브레이션 오류로 인해 실제 3D 데이터에 자연스럽게 존재하는 백도어를 만들기 위해.
• 데이터 증강 및 새로운 방어 기법에 대한 백도어의 강건성 평가하기 위해.
• 포인트 클라우드 백도어 탐지에 적합한 새로운 사전 기반 방어(SP-방어)를 제안하고, NRBdoor 및 기존 공격에 대한 효과성을 평가하기 위해.

제안 방법

• NRBdoor는 전체 3D 모양에 비직교이고 노이즈가 섞인 회전 행렬을 적용하여 백도어를 생성하며, 실제 센서 및 캘리브레이션 오류를 시뮬레이션한다.
• 최적의 노이즈 회전 패턴은 공격 성공률(ASR)을 향상시키고 정확도 저하를 최소화하는 반복적 노이즈 생성 및 선택 과정을 통해 발견된다.
• 구면 좌표계와 변수 변환(ρᵢ = rᵢ⁻ᵝ)을 사용하여 포인트 클라우드 특징의 사전 기반 점수를 계산함으로써, 중요한 백도어 영역을 탐지할 수 있다.
• 사전 기반 방어(SP-방어)는 랭킹 기반으로 상위 q개의 높은 사전 기반 점수를 가진 점들을 제거함으로써, 백도어 패턴으로 간주되는 영역을 식별하고 제거한다.
• 공개된 데이터셋인 ModelNet40 등을 사용하여 포인트 클라우드(PointNet, PointNet++, DGCNN) 및 메시(MeshCNN, SubdivNet, MeshWalker) 모델에서 공격를 평가한다.
• 랜덤 회전 및 스케일링을 포함한 데이터 증강 환경에서도 테스트하여, ASR가 5% 감소하는 등 높은 내성 확보함을 입증한다.

실험 결과

연구 질문

• RQ1 포인트 클라우드 및 메시와 같은 이질적인 3D 데이터 구조 간에 이식 가능한 백도어 패턴를 설계할 수 있는가?
• RQ2 실제 3D 촬영 과정에서 발생하는 노이즈를 활용하여 백도어를 자연스럽고 눈에 띄지 않게 만들 수 있는가?
• RQ3 제안된 NRBdoor가 높은 공격 성공률를 달성하면서도 청소년 데이터에 대한 모델 정확도를 얼마나 유지하는가?
• RQ4 기존의 사전 기반 방어 기법이 NRBdoor를 회피할 수 있는가?
• RQ5 제안된 SP-방어는 3D 포인트 클라우드 모델에 대한 백도어 공격을 탐지하고 완화하는 데 얼마나 효과적인가?

주요 결과

• NRBdoor는 메시 기반 DNN(MeshCNN, SubdivNet, MeshWalker 등)에서 100% 공격 성공률를 기록하며, 정확도 저하가 0.5% 미만으로 매우 낮다.
• 포인트 클라우드 모델(PointNet, PointNet++, DGCNN)에서는 93.44% 이상의 공격 성공률를 기록하면서도 높은 은폐성 확보함을 입증하였다.
• 데이터 증강에 강건하며, 랜덤 회전 및 스케일링 조건에서도 ASR가 5% 감소하는 데 그치어 높은 내성 확보함을 입증하였다.
• SP-방어는 PointBA_X의 공격 성공률를 82%에서 23%로 감소시켰지만, NRBdoor의 경우 93.44%에서 88.39%로 뿐만 아니라 영향을 거의 받지 않아, 회피 능력이 뛰어남을 입증하였다.
• NRBdoor는 메시 DNN에 성공적으로 임플란트되어 다각형 또는 수증기 성질을 손상시키지 않고 작동하는 첫 번째 백도어 패턴이다.
• 검색 과정을 통해 반복 횟수(K)와 후보 노이즈 수(M)를 증가시킬수록 패턴 품질이 향상되며, 최적 설정에서는 ASR가 100%에 도달함을 확인하였다.