[논문 리뷰] Constrained Optimization with Dynamic Bound-scaling for Effective NLPBackdoor Defense

Guangyu Shen, Yingqi Liu외 6명|arXiv (Cornell University)|2022. 02. 11.

Adversarial Robustness in Machine Learning인용 수 11

한 줄 요약

이 논문은 토큰 임베딩에 대한 온도 스케줄링 소프트맥스를 통한 트리거 반전을 통해 NLP 백도어 방어를 위한 동적 바운드 스케일링 최적화 방법을 제안한다. 온도를 점차 낮춰 손실 곡면을 선명하게 하고, 局부 최적해에서 벗어나기 위해 롤백 메커니즘을 사용함으로써, 이 방법은 백도어를 효과적으로 탐지하고 제거할 수 있으며, 3개의 작업과 4종류의 공격 유형에서 1,600개 이상의 모델에 대해 기준선 대비 최대 43.4% 높은 탐지 정확도를 달성한다.

ABSTRACT

We develop a novel optimization method for NLPbackdoor inversion. We leverage a dynamically reducing temperature coefficient in the softmax function to provide changing loss landscapes to the optimizer such that the process gradually focuses on the ground truth trigger, which is denoted as a one-hot value in a convex hull. Our method also features a temperature rollback mechanism to step away from local optimals, exploiting the observation that local optimals can be easily deter-mined in NLP trigger inversion (while not in general optimization). We evaluate the technique on over 1600 models (with roughly half of them having injected backdoors) on 3 prevailing NLP tasks, with 4 different backdoor attacks and 7 architectures. Our results show that the technique is able to effectively and efficiently detect and remove backdoors, outperforming 4 baseline methods.

연구 동기 및 목표

• 구조적 또는 어조 변형 기반 트리거로 인해 점점 더 은밀해지는 NLP 모델의 백도어 탐지 및 제거 문제를 해결한다.
• 토큰 공간의 이산적이고 희소한 성격으로 인해 기존 NLP 백도어 반전 방법이 실패하는 문제점을 극복한다.
• 복잡하고 적응형 공격 조건에서도 실제 트리거를 신뢰성 있게 탐지할 수 있는 강력한 최적화 프레임워크를 개발한다.
• 청정 데이터에서 정확도 저하를 최소화하면서 효과적인 백도어 제거를 가능하게 하여 실세계 NLP 시스템에의 실용적 구현을 보장한다.

제안 방법

• 모든 어휘 내 토큰의 가중 평균을 나타내는 각 점이 포함된 토큰 임베딩의 볼록 껍질 위에서 트리거 반전을 최적화 문제로 재정의한다.
• 온도 스케줄링 소프트맥스를 사용하여 최적화 출력의 신뢰도를 동적으로 제어하며, 초기에는 높은 온도로 광범위한 탐색을 수행하고, 점차 온도를 낮춰 일항 유사 해답에 집중한다.
• 최적화기가 局부 최적해에 갇힐 경우 온도를 증가시키는 온도 롤백 메커니즘을 도입하며, 이는 유일한 전역 최적해만 낮은 반전 손실을 낼 수 있다는 사실을 활용한다.
• 반전된 트리거 하에서 모델의 오분류 정도를 측정하는 손실 함수를 정의하며, 이 손실을 최소화하는 것이 진짜 트리거를 식별하는 목표이다.
• 반전된 트리거를 사용해 모델을 재학습하거나 미세조정함으로써 백도어 탐지 및 제거에 동일한 방법을 적용한다.
• 반전 손실 임계값 기반의 백트래킹 전략을 통해 전역 최적해(진짜 트리거)와 局부 최적해(허위 트리거)를 구분한다.

실험 결과

연구 질문

• RQ1 고정된 온도 방법에 비해, 소프트맥스에서 동적 온도 스케일링이 이산적 NLP 공간에서 트리거 반전의 수렴을 향상시키는가?
• RQ2 진짜 트리거가 즉시 발견되지 않을 경우, 온도 롤백 메커니즘이 NLP 백도어 반전 과정에서 局부 최적해를 벗어나는 데 얼마나 효과적인가?
• RQ3 트리거의 가시성을 감소시키는 고도화된 적응형 공격(예: SOS 및 조합 锁 공격) 조건 하에서, 이 방법이 백도어를 탐지하고 제거하는 데 얼마나 효과적인가?
• RQ4 SOS, 조합 锁 공격 등 복잡한 공격에 대해, 이 방법은 ASCC, UAT, T-Miner, 유전 알고리즘 등의 최신 기준선 대비 탐지 정확도와 내구성 면에서 어떻게 비교되는가?
• RQ5 백도어 제거 후 공격 성공률을 거의 0에 수렴시키면서도 청정 정확도를 고수할 수 있는가?

주요 결과

• β=0.3일 때, Hidden Killer 공격에 대해 0.95, Combination Lock 공격에 대해 1.00의 탐지 정확도를 기록하여 모든 기준선을 초월했다.
• 적응형 SOS 공격에 대해서는 β=1일 때도 0.875의 탐지 정확도를 유지하여, 손실 최적화된 은밀한 트리거에 대한 강건성을 입증했다.
• TrojAI 데이터셋 전반에서 백도어 제거로 평균 공격 성공률(ASR)이 0.987에서 0.058로 감소했으며, 청정 정확도 저하도 미미했다(예: 감성 분석에서 0.909에서 0.892로 감소).
• 절단 실험을 통해 온도 스케일링과 백트래킹이 모두 필수적임을 확인: 둘 중 하나를 제거하면 탐지 성능이 크게 저하되었다.
• 적응형 공격으로 인해 트리거 손실 임계값(ϕ)이 증가하더라도 이 방법은 ϕ=0.5일 때 80% 이상의 탐지 정확도를 유지했으나, ASR는 크게 감소했다.
• 3개의 NLP 작업과 7종의 모델 아키텍처 전반에서 최신 기준선 4종보다 최대 43.4% 높은 탐지 정확도를 기록하며 일관된 향상을 보였다.