[논문 리뷰] Few-shot Backdoor Attacks via Neural Tangent Kernels

Jonathan Hayase, Sewoong Oh|arXiv (Cornell University)|2022. 10. 12.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 신경미분 커널(Neural Tangent Kernels, NTKs)를 사용하여 최소한의 오염된 데이터로 최대의 공격 성공률을 달성하기 위해 오염 학습 예제를 최적화하는 소수의 예제를 사용하는 백도어 공격인 신경미분 백도어 공격(NTBA)을 제안한다. NTK를 통해 학습 동역학을 모델링함으로써 NTBA는 CIFAR-10 및 ImageNet 서브셋에서 기준 방법보다 10배 적은 예제로 90%의 공격 성공률을 달성하는 매우 효과적인 오염 예제를 설계한다.

ABSTRACT

In a backdoor attack, an attacker injects corrupted examples into the training set. The goal of the attacker is to cause the final trained model to predict the attacker's desired target label when a predefined trigger is added to test inputs. Central to these attacks is the trade-off between the success rate of the attack and the number of corrupted training examples injected. We pose this attack as a novel bilevel optimization problem: construct strong poison examples that maximize the attack success rate of the trained model. We use neural tangent kernels to approximate the training dynamics of the model being attacked and automatically learn strong poison examples. We experiment on subclasses of CIFAR-10 and ImageNet with WideResNet-34 and ConvNeXt architectures on periodic and patch trigger attacks and show that NTBA-designed poisoned examples achieve, for example, an attack success rate of 90% with ten times smaller number of poison examples injected compared to the baseline. We provided an interpretation of the NTBA-designed attacks using the analysis of kernel linear regression. We further demonstrate a vulnerability in overparametrized deep neural networks, which is revealed by the shape of the neural tangent kernel.

연구 동기 및 목표

• 백도어 공격에서 오염된 학습 예제의 수와 공격 성공률 사이의 근본적인 상충 관계를 해결하기 위해.
• 특히 저자료 환경에서 랜덤 샘플링보다 더 강력한 오염 예제를 구성하기 위해.
• 신경미분 커널(NTKs)을 활용하여 딥 네ural 네트워크의 학습 동역학을 모델링하고 최적화하여 백도어 공격 설계에 응용하기 위해.
• 커널 선형 회귀 분석을 통해 공격 강도에 대한 이론적 해석을 제공하기 위해.
• NTK의 기하학적 성질을 통해 과다 매개변수화된 딥 네럴 네트워크의 내재된 취약성을 드러내기 위해.

제안 방법

• 백도어 공격를 이중 최적화 문제로 공식화하여, 최종 모델의 공격 성공률을 최대화할 수 있도록 오염 예제를 최적화한다.
• 대상 모델의 학습 동역학을 근사하기 위해 신경미분 커널(NTKs)을 사용하여 오염 예제의 기울기 기반 최적화를 효율적으로 가능하게 한다.
• NTK에서 유도된 커널 리지 회귀 문제를 해결하여 오염 예제를 구성하며, 이는 학습 도중 모델 가중치의 변화를 모델링한다.
• 입력 공간에서 정상 데이터와 유사하고 트리거 크기가 최소인 오염 예제를 설계하여 영향력을 극대화한다.
• 일반화성과 취약성의 차이를 분석하기 위해 NTK 기반 공격와 라플라스 커널 기반 공격를 비교한다.
• 합성 3D 데이터셋을 사용하여 NTK가 먼 점들로부터도 강력한 영향을 유지함을 보여주어 견고한 백도어 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경미분 커널을 사용하여 더 적은 수의 학습 주입 예제로 더 효과적인 백도어 오염 예제를 설계할 수 있는가?
• RQ2 NTK의 기하학적 성질이 백도어 공격의 일반화성과 강도에 어떤 영향을 미치는가?
• RQ3 왜 과다 매개변수화된 딥 네럴 네트워크는 소수의 예제로도 특히 백도어 공격에 취약한가?
• RQ4 트리거의 크기와 공간적 배치가 공격 효과성에 어떤 역할을 하는가?
• RQ5 NTK 기반 모델에서 단일 오염 점의 영향력이 거리에 따라 어떻게 감쇠되는가? 다른 커널과 비교해보면 어떻게 되는가?

주요 결과

• NTBA는 오직 10개의 오염 예제만으로도 ImageNet과 CIFAR-10 서브셋에서 90%의 공격 성공률를 달성하며, 이는 기준 방법보다 10배 더 효율적이다.
• 주기적 트리거의 경우, NTBA는 오직 10개의 오염 예제로 72%의 공격 성공률를 기록했고, 기준 방법은 100개의 예제로 80%의 성공률를 기록했다.
• 트리거 크도가 감소할수록 공격 강도가 크게 증가하며, 특히 오염 예제가 입력 공간에서 정상 데이터에 가까울수록 더욱 두드러진다.
• NTK 기반 모델은 오염 예제로부터 오랜 영향력을 유지함으로써, 오염 점에서 멀리 떨어진 모든 테스트 예제로도 백도어 효과를 일반화한다.
• 반면, 라플라스 커널은 거리에 따라 영향력이 급격히 감쇠되어 오염점 주변 몇 개의 점 이외에는 백도어를 일반화하지 못한다.
• 고입력 크기에서 NTK의 기울기 기반 점 渐진적 행동은 라플라스 커널에 비해 소수의 예제로도 더 큰 취약성을 초래한다.