[논문 리뷰] WaNet -- Imperceptible Warping-based Backdoor Attack

Anh Nguyen, Anh Tran|arXiv (Cornell University)|2021. 02. 20.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 128

한 줄 요약

WaNet은 탄성 이미지 왜곡에 기반한 눈에 띄지 않는 백도어 트리거를 제시한다. 이는 깨끗한 정확도와 공격 정확도가 높으면서도 일반적인 방어를 우회하며 물리적 세계 시나리오에서도 효과를 유지한다.

ABSTRACT

With the thriving of deep learning and the widespread practice of using pre-trained networks, backdoor attacks have become an increasing security threat drawing many research interests in recent years. A third-party model can be poisoned in training to work well in normal conditions but behave maliciously when a trigger pattern appears. However, the existing backdoor attacks are all built on noise perturbation triggers, making them noticeable to humans. In this paper, we instead propose using warping-based triggers. The proposed backdoor outperforms the previous methods in a human inspection test by a wide margin, proving its stealthiness. To make such models undetectable by machine defenders, we propose a novel training mode, called the ``noise mode. The trained networks successfully attack and bypass the state-of-the-art defense methods on standard classification datasets, including MNIST, CIFAR-10, GTSRB, and CelebA. Behavior analyses show that our backdoors are transparent to network inspection, further proving this novel attack mechanism's efficiency.

연구 동기 및 목표

• 써드파티 모델 사용 시 특히 눈에 띄지 않는 트리거를 포함한 백도어 공격의 위험성을 고찰한다.
• 자연스러운 이미지 내용을 보존하는 엘라스틱 이미지 왜곡 기반의 은밀한 백도어 메커니즘을 제안한다.
• 학습 스킴을 개발하여 불필요한 픽셀 아티팩트를 학습하지 못하게 하고 백도어가 왜곡에 의존하도록 보장한다.
• WaNet의 방어 대응 및 실제 세계에서의 효과와 은밀성을 입증한다. 물리적 배치 포함.

제안 방법

• 백도어 주입 함수 B(x) = W(x, M) 정의: W는 학습된 왜곡 필드 M으로 이미지를 왜곡한다.
• 제어점 그리드에서 강도 매개변수 s를 사용하여 임의의 그리드와 3차 스플라인 보간법으로 왜곡 필드 M을 생성한다.
• 자연스러운 왜곡을 보장하기 위해 M을 작고 탄력적이며 이미지 경계 내로 제약한다.
• 모델이 픽셀 수준의 아티팩트를 암기하는 것을 방지하고 왜곡 학습을 강제하기 위해 세 가지 모드(정상, 공격, 새로운 노이즈 모드)로 학습한다.
• 노이즈 모드는 학습 중 왜곡을 섞어(M + 임의 노이즈) 정의된 왜곡이 아닌 입력에 백도어 반응이 나타나지 않도록 한다.
• MNIST, CIFAR-10, GTSRB, CelebA 데이터셋을 사용한 전체-대-하나 백도어 설정에서 평가하고, 깨끗한 정확도 대비 공격 정확도 및 재포획/왜곡에 대한 강인성을 측정한다.

실험 결과

연구 질문

• RQ1 눈에 띄지 않는 왜곡 기반 트리거가 인간 및 방어 시스템에 의해 탐지되지 않으면서도 효과적인 백도어 동작을 달성할 수 있는가?
• RQ2 전용 노이즈 모드 학습 스킴이 모델이 exploitable 픽셀 아티팩트를 학습하지 못하게 하여 Neural Cleanse와 같은 방어에 대한 은밀성을 향상시키는가?
• RQ3 WaNet은 카메라 캡처 및 물리적 디스플레이 시나리오를 포함한 실제 세계 조건에 대해 강건한가?
• RQ4 WaNet은 Neural Cleanse, Fine-Pruning, STRIP와 같은 확립된 백도어 방어 및 일반적인 시각화 도구에 대해 어떤 성능을 보이는가?

주요 결과

• WaNet은 MNIST, CIFAR-10, GTSRB, CelebA 전반에서 높은 깨끗한 정확도와 공격 정확도를 달성하며, 정의된 왜곡이 적용될 때 공격 성공률이 목표에 근접한다.
• WaNet이 생성한 백도어 이미지는 인간에게 거의 구분되지 않아 패치 기반 및 기타 이전 트리거보다 인간 시각 검사에서 뛰어나다.
• 전용 노이즈 모드 학습은 픽셀 아티팩트 의존성을 줄여 Neural Cleanse 및 유사 분석에 덜 취약하게 한다.
• WaNet은 카메라 기반 재캡처 및 극단적인 촬영 조건에서도 효과적으로 높은 공격 성공률을 유지한다.
• WaNet은 여러 방어를 무력화한다; Neural Cleanse는 WaNet에 대해 낮은 이상값 지수를 보이고, STRIP 엔트로피 패턴은 정상 모델과 일관되며, Fine-Pruning은 백도어를 저해하지 않는다.
• 버림 실험은 방어에 대한 은밀성을 유지하기 위한 노이즈 모드의 필요성과 warp 강도 및 제어점 그리드 크기가 탐지 가능성과 효과에 영향을 준다는 것을 보여준다.