[논문 리뷰] IBD-PSC: Input-level Backdoor Detection via Parameter-oriented Scaling Consistency

Linshan Hou, Ruili Feng외 4명|arXiv (Cornell University)|2024. 05. 16.

Medical Imaging Techniques and ApplicationsMedicine인용 수 3

한 줄 요약

이 논문은 배치 정규화(BN) 레이어에서 파라미터 기반 스케일링 일관성(PSC)을 활용하여 오염된 입력을 탐지하는 새로운 입력 수준의 백도어 탐지 방법인 IBD-PSC를 제안한다. BN 파라미터를 스케일링하고 예측 신뢰도의 안정성을 측정함으로써, IBD-PSC는 높은 정확도와 효율성으로 악성 샘플을 식별하며, 특히 극단적인 픽셀 값(예: 검은색/흰색 픽셀)을 가진 이미지에서 기존 방법들인 SCALE-UP보다 뛰어나며, 기준 데이터셋에서 적응형 공격에 강력한 저항성을 보인다.

ABSTRACT

Deep neural networks (DNNs) are vulnerable to backdoor attacks, where adversaries can maliciously trigger model misclassifications by implanting a hidden backdoor during model training. This paper proposes a simple yet effective input-level backdoor detection (dubbed IBD-PSC) as a `firewall' to filter out malicious testing images. Our method is motivated by an intriguing phenomenon, i.e., parameter-oriented scaling consistency (PSC), where the prediction confidences of poisoned samples are significantly more consistent than those of benign ones when amplifying model parameters. In particular, we provide theoretical analysis to safeguard the foundations of the PSC phenomenon. We also design an adaptive method to select BN layers to scale up for effective detection. Extensive experiments are conducted on benchmark datasets, verifying the effectiveness and efficiency of our IBD-PSC method and its resistance to adaptive attacks. Codes are available at \href{https://github.com/THUYimingLi/BackdoorBox}{BackdoorBox}.

연구 동기 및 목표

• 기존의 입력 수준 백도어 탐지 방법의 한계, 특히 극단적인 픽셀 값(예: 검은색/흰색 픽셀)을 가진 정상 샘플에서의 실패 문제를 해결하기 위해.
• 모델 파라미터 스케일링을 활용하여 픽셀 값 제약 조건과 무관한 새로운 강력한 탐지 신호를 식별하기 위해.
• 실시간 추론 환경에서 제3자 모델 배포에 적합한 실용적이고 효율적이며 효과적인 탐지 프레임워크를 개발하기 위해.
• 오염된 샘플과 정상 샘플 간에 관찰된 파라미터 기반 스케일링 일관성(PSC) 현상의 이론적 근거를 제시하기 위해.
• 다양한 백도어 공격과 적응형 회피 전략에 대한 탐지 방법의 강건성 평가를 위해.

제안 방법

• 이 방법은 배포된 모델의 배치 정규화(BN) 레이어의 누적 통계를 스케일링하여 백도어를 탐지하며, 마지막 레이어부터 시작하여 점차 스케일링할 레이어 수를 늘려간다.
• 각 의심스러운 입력에 대해 IBD-PSC는 원래 모델이 예측한 레이블에 대해 여러 파라미터 스케일링 버전의 모델에서의 평균 예측 신뢰도를 PSC 점수로 계산한다.
• 높은 PSC 점수는 스케일링된 모델들 간의 예측 일관성이 높음을 나타내며, 이는 입력이 오염되었을 가능성이 높다는 신호이다.
• 적응형 알고리즘은 정상 샘플 성능에 미치는 영향을 평가하여 최적의 BN 레이어 수를 선택함으로써, 정상 추론 성능을 떨어뜨리지 않으면서도 탐지 민감도를 확보한다.
• 이 방법은 메모리 효율적이며, 원본 모델 한 개만 유지하고 추론 중에 실시간으로 스케일링된 모델을 생성한다.
• 이론적 분석을 통해 표준 학습 가정 하에 BN 파라미터 스케일링이 항상 잠재적 백도어를 드러낼 수 있음을 증명함으로써, PSC 현상이 우연이 아님을 보장한다.

실험 결과

연구 질문

• RQ1 배치 정규화 레이어에서의 파라미터 스케일링이 픽셀 값 제약 조건에 영향을 받지 않는 일관된 탐지 신호를 오염된 입력에 대해 드러낼 수 있는가?
• RQ2 모든 공격받은 모델에서 백도어를 드러내는 스케일링 인자가 존재함을 보장하는 이론적 기반은 있는가?
• RQ3 적응형 레이어 선택 전략이 계산 오버헤드를 최소화하면서도 탐지 성능을 향상시킬 수 있는가?
• RQ4 IBD-PSC는 다양한 백도어 공격, 특히 적응형 및 고도로 발전된 공격에 대해 어떻게 성능을 보이는가?
• RQ5 IBD-PSC는 추론 외에도 훈련 데이터에서 오염된 샘플을 효과적으로 탐지하는 데 적용될 수 있는가?

주요 결과

• IBD-PSC는 여러 공격에 걸쳐 오염된 훈련 샘플 탐지에서 100%의 진성 양성률(TPR)과 거의 100%의 AUROC를 기록하며, 거짓 양성률(FPR)은 약 0%에 가까운 수준을 유지한다.
• 검은색 및 흰색 픽셀과 같은 극단적인 픽셀 값을 가진 이미지에서 SCALE-UP에 비해 뚜렷한 성능 향상을 보이며, SCALE-UP는 증폭 과정에서 픽셀 포화 현상으로 인해 실패한다.
• IBD-PSC는 13가지 대표적인 백도어 공격에 대해 높은 탐지 성능 유지를 보이며, 적응형 회피 기법에 대한 강력한 저항성을 입증한다.
• 이론적 분석을 통해 학습 이론의 표준 가정 하에 어떤 공격받은 모델이라도 백도어를 드러내는 스케일링 인자가 존재함을 확인하였다.
• 훈련 데이터에 적용했을 때 IBD-PSC는 오염된 샘플을 성공적으로 식별하고 필터링하며, CIFAR-10에서 재학습된 모델의 공격 성공률(ASR)을 0.5% 이하로 낮추었다.
• 실시간 추론 환경에서도 효과적으로 기능하며, 원본 훈련 데이터 접근이나 재학습이 필요 없이 제3자 모델에 대한 경량 방화벽으로 작동한다.