[논문 리뷰] Fine-Tuning Is All You Need to Mitigate Backdoor Attacks

Zeyang Sha, Xinlei He외 3명|arXiv (Cornell University)|2022. 12. 18.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 특히 새로운 방법인 슈퍼-프리티닝(Super-fine-tuning)을 통해 백도어를 제거하는 데에 매우 효과적임을 보여주며, 모델의 유틸리티를 유지하면서도 계산 비용을 최소화한다. 이는 인코더 기반, 전이 기반, 독립형 세 가지 시나리오에서 기존 방어 방법들을 능가하는 강력한 방어 성능을 달성하며, 잔류 위험성을 측정하기 위해 '백도어 후유증(Backdoor sequela)'이라는 개념을 도입한다.

ABSTRACT

Backdoor attacks represent one of the major threats to machine learning models. Various efforts have been made to mitigate backdoors. However, existing defenses have become increasingly complex and often require high computational resources or may also jeopardize models' utility. In this work, we show that fine-tuning, one of the most common and easy-to-adopt machine learning training operations, can effectively remove backdoors from machine learning models while maintaining high model utility. Extensive experiments over three machine learning paradigms show that fine-tuning and our newly proposed super-fine-tuning achieve strong defense performance. Furthermore, we coin a new term, namely backdoor sequela, to measure the changes in model vulnerabilities to other attacks before and after the backdoor has been removed. Empirical evaluation shows that, compared to other defense methods, super-fine-tuning leaves limited backdoor sequela. We hope our results can help machine learning model owners better protect their models from backdoor threats. Also, it calls for the design of more advanced attacks in order to comprehensively assess machine learning models' backdoor vulnerabilities.

연구 동기 및 목표

• 기계학습 모델에서 백도어 공격에 대한 단순하고 효과적이며 저비용의 방어 수단으로 프리티닝이 작용할 수 있는지 조사하는 것.
• 기존 방어 방법의 한계를 해결하기 위한 것으로, 계산 비용이 높거나 모델 유틸리티를 떨어뜨리는 경우가 많기 때문이다.
• 기존 프리티닝이 실패하는 상황에서 백도어 제거를 향상시키기 위해 새로운 프리티닝 전략인 슈퍼-프리티닝을 제안하는 것.
• 백도어 제거 후 잔류 취약성을 평가하기 위한 새로운 메트릭으로 '백도어 후유증'의 개념을 도입하고 평가하는 것.
• 인코더 기반 및 전이 기반 시나리오에서 프리티닝이 이미 하류 적응을 위해 필요로 하므로, 이를 '제로비용 방어'로 활용할 수 있음을 보여주는 것.

제안 방법

• 사전학습 이후 전체 모델을 프리티닝하는 인코더 기반 시나리오에서 기존 프리티닝 전략이 효과적인 방어 수단이 되도록 제안한다.
• 슈퍼-컨버전스를 영감으로 삼은 동적 학습률 전략을 도입하여 백도어 제거를 향상시키는 슈퍼-프리티닝을 제안한다.
• 초기 학습률을 높여 백도어 패턴을 파괴하고, 점차 감소시키는 학습률 스케줄을 적용하여 모델 유틸리티를 유지한다.
• 기존 프리티닝 전략으로는 충분하지 않은 전이 기반 및 독립형 시나리오에서 슈퍼-프리티닝을 적용한다.
• 청결한 데이터와 통제된 훈련을 조합하여 모델을 재학습시키며, 원래 기능을 변경하지 않은 채로 백도어 트리거를 제거하는 데 집중한다.
• '백도어 후유증'을 새로운 메트릭으로 도입하여, 한 백도어를 제거함으로써 멤버십 인식 공격이나 재주입 공격 등 다른 공격에 대한 취약성이 증가하는지 평가한다.

실험 결과

연구 질문

• RQ1 기존 프리티닝 전략은 인코더 기반 기계학습 모델에서 백도어를 효과적으로 제거할 수 있는가?
• RQ2 전이 기반 및 독립형 시나리오에서 슈퍼-프리티닝 전략은 기존 프리티닝 전략보다 백도어 제거 성능을 뚜렷이 향상시키는가?
• RQ3 백도어 제거 과정에서 모델 유틸리티(즉, 정상 정확도)는 어느 정도 유지되는가?
• RQ4 공격 성공률 감소와 계산 비용 측면에서 제안된 방어 방법은 최신 기술 대비 어떻게 비교되는가?
• RQ5 백도어 제거가 모델의 다른 공격에 대한 취약성에 어떤 영향을 미치며, 이를 '백도어 후유증' 개념을 통해 어떻게 정량화할 수 있는가?

주요 결과

• 인코더 기반 시나리오에서 기존 프리티닝은 단 한 에포크 내에 STL10 데이터셋에서 공격 성공률을 0.998에서 0.127로 감소시켜, 근접한 완전한 백도어 제거를 최소한의 비용으로 달성함을 보여주었다.
• 전이 기반 시나리오에서 기존 프리티닝은 100 에포크 동안 공격 성공률을 0.945에서 0.221로 감소시켰지만, 슈퍼-프리티닝은 더 적은 에포크 수로 더 우수한 결과를 내고 더 높은 정상 정확도를 확보하였다.
• 모든 평가된 시나리오에서 슈퍼-프리티닝 전략은 공격 성공률 감소와 모델 유틸리티 유지 측면에서 최신 기술 대비 뛰어난 성능을 보였다.
• 제안된 방법은 높은 정상 정확도를 유지하였으며(예: AC 방어에서 0.672에서 0.582로의 하락), 슈퍼-프리티닝은 최소한의 퇴화를 유발하여 강력한 유틸리티 유지 능력을 입증하였다.
• 실증적 평가 결과 슈퍼-프리티닝은 최소한의 '백도어 후유증'을 남기며, 멤버십 인식 공격 및 재주입 공격에 대한 잔류 취약성이 낮음을 시사하였다.
• 본 연구는 인코더 기반 및 전이 기반 환경에서 프리티닝이 이미 하류 적응을 위해 필수적인 단계이므로, 이를 '제로비용 방어'로 활용할 수 있음을 보여주었다.