[논문 리뷰] Defense against Backdoor Attacks via Identifying and Purifying Bad Neurons

Mingyuan Fan, Yang Liu외 3명|arXiv (Cornell University)|2022. 08. 13.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 백도어 공격에 대응하기 위해 새로운 메트릭인 유해하지 않은 민감도(BS)를 사용하여 악성 뉴런을 식별하고 정제하는 WIPER라는 새로운 백도어 방어 방법을 제안한다. BS는 일阶 미분 기반의 상호 뉴런 연결 정보를 활용하여 뉴런 간의 관계를 더 잘 포착한다. 또한 정밀한 미세조정을 위해 적응형 정규화(AR)를 도입하여 기존 방법보다 빠르고 안정적인 정제를 가능하게 하며, 1%의 정상 데이터 비율 조건에서도 3.5% 이하의 정확도 손실로 90% 이상의 ASR 감소를 달성한다.

ABSTRACT

The opacity of neural networks leads their vulnerability to backdoor attacks, where hidden attention of infected neurons is triggered to override normal predictions to the attacker-chosen ones. In this paper, we propose a novel backdoor defense method to mark and purify the infected neurons in the backdoored neural networks. Specifically, we first define a new metric, called benign salience. By combining the first-order gradient to retain the connections between neurons, benign salience can identify the infected neurons with higher accuracy than the commonly used metric in backdoor defense. Then, a new Adaptive Regularization (AR) mechanism is proposed to assist in purifying these identified infected neurons via fine-tuning. Due to the ability to adapt to different magnitudes of parameters, AR can provide faster and more stable convergence than the common regularization mechanism in neuron purifying. Extensive experimental results demonstrate that our method can erase the backdoor in neural networks with negligible performance degradation.

연구 동기 및 목표

• 기존의 뉴런 평가에 활성화 크기(AM)에 의존하는 백도어 방어 기법의 한계를 해결하기 위해, 상호 뉴런 연결을 忽시하는 경향이 있는 기존 방법의 문제를 해결하고자 한다.
• 특히 정상 예측 경로에 관여하는 뉴런까지 무분별하게 제거하는 것에 기인한 성능 저하 문제를 해결하고자 한다.
• 모델 정확도를 유지하면서도 백도어 트리거를 효과적으로 제거할 수 있도록, 더 정확하고 안정적인 악성 뉴런 식별 및 정제 방법을 개발하고자 한다.
• 파rameter 크기에 따라 적응적으로 페널티 강도를 조절하는 새로운 정규화 메커니즘을 도입하여, 뉴런 정제 과정에서 수렴 속도와 효과성을 향상시키고자 한다.

제안 방법

• 일阶 미분 기반의 기울기 정보와 뉴런 활성도를 통합한 새로운 메트릭인 유해하지 않은 민감도(BS)를 도입하여, 기존 활성화 크기(AM)보다 더 나은 백도어 감염 뉴런 탐지 성능을 확보한다.
• BS를 활용해 트리거에 높은 주의를 기울이지만 정상 특징과 관련성이 낮은 '악성 뉴런'을 식별함으로써 기울기 기반의 상호 뉴런 연결 정보를 유지한다.
• 파rameter 크기에 따라 페널티 강도를 동적으로 조절하는 조각별 정규화 전략인 적응형 정규화(AR)를 제안하여, 정제 과정 중의 미세조정을 가속화하고 안정화한다.
• 직접 제거하는 대신, AR를 활용한 미세조정을 통해 식별된 악성 뉴런을 정제함으로써 성능 저하를 줄이고 백도어 행동을 효과적으로 억제한다.
• BS 기반의 식별과 AR 기반의 미세조정을 통합하여, 백도어 제거와 모델 정확도 간의 균형을 유지하는 통합 방어 프레임워크인 WIPER를 구성한다.

실험 결과

연구 질문

• RQ1 유해하지 않은 민감도(BS)가 상호 뉴런 연결 정보를 유지함으로써 기존 활성화 크기(AM)보다 백도어 감염 뉴런을 더 잘 식별할 수 있는가?
• RQ2 적응형 정규화(AR)가 기존 정규화 대비 백도어 방어에서 뉴런 정제의 수렴 속도와 안정성에 기여하는가?
• RQ3 AR 기반 정제를 통한 미세조정이 제거 기반 방어 대비 더 높은 모델 정확도를 유지하면서도 우수한 백도어 제거 성능을 달성할 수 있는가?
• RQ4 1%의 정상 데이터 비율과 같은 저자원 환경에서 WIPER의 방어 성능은 어떻게 변화하는가?

주요 결과

• 1%의 정상 데이터 비율 조건에서도 WIPER는 3.5% 이하의 정확도 손실로 90% 이상의 ASR 감소를 달성하며, 저자원 환경에서 최신 기술 대비 뚜렷한 성능 우월성을 보였다.
• 유해하지 않은 민감도(BS)를 활용한 뉴런 식별은 활성화 크기(AM)보다 더 정확한 악성 뉴런 탐지 성능을 제공하여, 좋은 뉴런의 과도한 제거 위험을 줄였다.
• 적응형 정규화(AR)는 정제 과정 중의 수렴 속도와 안정성을 향상시켜, 기존 정규화 대비 더 효과적인 백도어 억제를 가능하게 하였다.
• 세부 제거를 AR 기반 정제로 대체함으로써, 모델 정확도는 최대 2.8%p 향상(예: 81.85% → 84.67%)되었고, TrojanNN 공격에 대해 ASR는 16.50%에서 4.68%로 감소하였다.
• 다양한 네트워크 아키텍처에서 뛰어난 성능 유지를 보였으며, 특히 기존 방법이 깊은 층에서 성능 저하를 겪는 것과는 달리, 깊은 레이어 정제 시에도 최소한의 정확도 손실을 유지하였다.