[논문 리뷰] Towards A Critical Evaluation of Robustness for Deep Learning Backdoor Countermeasures

Huming Qiu, Hua Ma외 5명|arXiv (Cornell University)|2022. 04. 13.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 세 가지 주요 딥러닝 백도어 방어 기법—Neural Cleanse, ABS, MNTD—의 견고성을 철저히 평가하며, 이 기법들이 자체 위협 모델 내에서도 데이터셋, 모델 아키텍처, 작업 유형, 하이퍼파라미터의 일반적인 변형에 대해 비견고된다는 것을 드러낸다. 저자들은 공식 증명과 실험적 연구를 통해 이러한 방어 기법들이 간단히 우회될 수 있음을 입증하며, 특히 모델이 잘 훈련되었거나 하이퍼파라미터가 약간 변경된 경우 백도어 탐지에서 거짓 음성 결과가 발생할 수 있음을 보여준다.

ABSTRACT

Since Deep Learning (DL) backdoor attacks have been revealed as one of the most insidious adversarial attacks, a number of countermeasures have been developed with certain assumptions defined in their respective threat models. However, the robustness of these countermeasures is inadvertently ignored, which can introduce severe consequences, e.g., a countermeasure can be misused and result in a false implication of backdoor detection. For the first time, we critically examine the robustness of existing backdoor countermeasures with an initial focus on three influential model-inspection ones that are Neural Cleanse (S&P'19), ABS (CCS'19), and MNTD (S&P'21). Although the three countermeasures claim that they work well under their respective threat models, they have inherent unexplored non-robust cases depending on factors such as given tasks, model architectures, datasets, and defense hyper-parameter, which are extit{not even rooted from delicate adaptive attacks}. We demonstrate how to trivially bypass them aligned with their respective threat models by simply varying aforementioned factors. Particularly, for each defense, formal proofs or empirical studies are used to reveal its two non-robust cases where it is not as robust as it claims or expects, especially the recent MNTD. This work highlights the necessity of thoroughly evaluating the robustness of backdoor countermeasures to avoid their misleading security implications in unknown non-robust cases.

연구 동기 및 목표

• 기존의 백도어 방어 기법, 특히 모델 점검 기반 방어 기법의 견고성을 철저히 평가하는 것—이러한 기법들은 일반적으로 자신의 위협 모델 내에서 견고하다고 간주되어 왔다.
• 적대적 공격 없이도 실패할 수 있는 새로운 요인들—예를 들어 모델 아키텍처, 데이터셋, 작업 유형, 하이퍼파라미터—를 규명하는 것.
• MNTD와 같은 영향력 있는 방어 기법이 훈련 에포크 수 등의 하이퍼파라미터에 매우 민감하여, 탐지 성능이 불안정해질 수 있음을 입증하는 것.
• 사용자가 이러한 방어 기법을 배포할 때 비견고된 경계 사례를 이해하지 못한 채로 잘못된 안전성 인식을 갖게 되는 위험을 부각하는 것.
• 실제 배포 이전에 백도어 방어 기법의 견고성을 체계적으로 평가하는 데 초점을 맞춘 새로운 연구 방향을 제안하는 것.

제안 방법

• Neural Cleanse, ABS, MNTD의 세 방어 기법 각각에 대해, 정의된 위협 모델과 일치하는 비견고된 상황을 식별하기 위해 공식 증명 또는 실험적 사례 연구를 수행한다.
• 각 방어 기법의 원본 소스 코드를 재현하여 동일한 조건에서 일관된 평가를 확보한다.
• 모델 아키텍처(예: VGG11), 데이터셋(예: CIFAR-10), 작업 유형(예: 이진 분류 대 다중 분류), 하이퍼파라미터(예: 훈련 에포크 수, 배치 크기) 등의 핵심 요소를 체계적으로 변화시킨다.
• MNTD의 경우, AUC를 지표로 하여 메타 분류기의 성능을 평가하고, 하이퍼파라미터 변화가 탐지 정확도에 어떤 영향을 미치는지 분석한다.
• 실제 배포 시나리오를 시뮬레이션하기 위해 정상 모델과 백도어가 삽입된 모델을 수렴할 때까지 훈련시킨다. 이는 일반적으로 조기에 멈추는 색동 모델 훈련 방식과 대비된다.
• 메타 분류기의 점수 분포를 사용하여 탐지 성능이 모델 수렴 여부 또는 백도어 존재 여부와 관련이 있는지 분석한다.

실험 결과

연구 질문

• RQ1 기존의 모델 점검 기반 백도어 방어 기법은 자신의 기재된 위협 모델 내에서도 다양한 모델 아키텍처, 데이터셋, 작업 유형에 대해 견고한가?
• RQ2 훈련 에포크 수나 배치 크기 등의 하이퍼파라미터가 MNTD와 같은 방어 기법의 탐지 성능에 어느 정도 영향을 미치는가?
• RQ3 Neural Cleanse나 ABS와 같은 방어 기법에서 비견고된 사례가 표준 훈련 조건 하에서 공식적으로 증명되거나 실험적으로 입증될 수 있는가?
• RQ4 MNTD의 메타 분류기가 원천 무관 백도어를 대상으로 설계되었음에도 불구하고, 대상 모델이 잘 훈련되었을 때는 백도어가 삽입된 모델을 구분하지 못하는 이유는 무엇인가?
• RQ5 이러한 방어 기법에서 거짓 음성 탐지가 발생하는 근본 원인은 무엇이며, 이는 백도어 탐지의 보안 가정을 어떻게 약화시키는가?

주요 결과

• Neural Cleanse는 이진 분류 모델에 대해 공식적으로 적용 불가능하며, 자체 위협 모델 내에서도 모델이 더 깊어질 경우 실패함을 실험적으로 입증하였다.
• ABS는 일반적인(낮은) 오염 비율로 훈련할 경우, 백도어가 삽입된 모델를 정상 모델로 잘못 판단한다. 이는 실제 환경에서 흔히 사용되는 방식이다.
• MNTD의 메타 분류기는 테스트 모델이 4 에포크만 훈련된 경우 AUC가 96%를 기록하지만, 정상 모델이 100 에포크까지 훈련된 경우 AUC가 50%로 떨어지며, 이는 무작위 추측 수준에 도달함을 의미한다. 이는 훈련 기간에 매우 민감함을 보여준다.
• 정상 모델과 백도어가 삽입된 모델가 모두 수렴 상태에 도달했을 때, 메타 분류기는 종종 정상 모델에 더 높은 점수를 할당하며, 이는 예상되는 탐지 행동을 뒤집는다.
• 메타 분류기의 성능은 훈련 에포크 수나 배치 크기 등의 하이퍼파라미터에 매우 민감하여, 일반적으로 잘 훈련되는 실제 환경에서는 MNTD가 신뢰할 수 없게 된다.
• MNTD에서 백도어가 삽입된 모델의 점수가 더 높아지는 경향은 백도어 자체의 존재 때문이 아니라, 백도어 하위 작업의 수렴(높은 ASR) 때문이며, 이는 백도어 존재 여부를 신뢰할 수 있는 지표가 아니다.