[논문 리뷰] Mask and Restore: Blind Backdoor Defense at Test Time with Masked Autoencoder

Tong Sun, Lu Pang외 3명|arXiv (Cornell University)|2023. 03. 27.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 검은 상자 모델을 대상으로 하는 테스트 시점 방어 기법인 마스크된 오토인코더를 활용한 블라인드 방어(BDMAE)를 제안한다. 이 기법은 모델 가중치나 정상 데이터에 접근하지 않고도 백도어 트리거를 탐지하고 제거할 수 있다. 토큰 공간에서의 마스크된 오토인코더 복원 능력과 구조적 유사도 및 레이블 일관성 기반의 트리거 탐지 정밀화를 통해 BDMAE는 실시간으로 이미지를 정제하며, 다양한 트리거에 대해 높은 정상 정확도와 낮은 공격 성공률을 달성한다.

ABSTRACT

Deep neural networks are vulnerable to backdoor attacks, where an adversary manipulates the model behavior through overlaying images with special triggers. Existing backdoor defense methods often require accessing a few validation data and model parameters, which is impractical in many real-world applications, e.g., when the model is provided as a cloud service. In this paper, we address the practical task of blind backdoor defense at test time, in particular for local attacks and black-box models. The true label of every test image needs to be recovered on the fly from a suspicious model regardless of image benignity. We consider test-time image purification that incapacitates local triggers while keeping semantic contents intact. Due to diverse trigger patterns and sizes, the heuristic trigger search can be unscalable. We circumvent such barrier by leveraging the strong reconstruction power of generative models, and propose Blind Defense with Masked AutoEncoder (BDMAE). BDMAE detects possible local triggers using image structural similarity and label consistency between the test image and MAE restorations. The detection results are then refined by considering trigger topology. Finally, we fuse MAE restorations adaptively into a purified image for making prediction. Extensive experiments under different backdoor settings validate its effectiveness and generalizability.

연구 동기 및 목표

• 모델 파라미터와 정상 데이터에 접근할 수 없는 실세계의 블랙박스 환경에서 백도어 공격에 대응하는 데 도전하는 것.
• 모델을 수정하지 않고도 실시간으로 작동하는 테스트 시점 방어 기법을 개발하여 클라우드 서비스에서의 실용적 구현을 보장하는 것.
• 트리거 패턴, 크기, 모델 아키텍처에 대한 사전 지식 없이도 트리거 탐지 및 이미지 정제를 가능하게 하는 것.
• 다양한 복잡도의 백도어 트리거를 효과적으로 무력화하면서도 정상 이미지에 대해 높은 정확도를 유지하는 것.
• 재학습이나 검증 데이터 접근 없이도 다양한 트리거 유형과 이미지 분포에 일반화하는 것.

제안 방법

• 마스크된 오토인코더(MAE)를 사용해 마스크된 이미지 패치를 복원함으로써 토큰 공간에서의 이질성을 탐지하는 강력한 생성 능력을 활용한다.
• 각 패치당 두 가지 트리거 스코어를 계산함: 입력 이미지와 MAE 복원 결과 간의 이미지 구조적 유사도 기반 스코어와, 입력과 복원된 이미지 간의 레이블 예측 일관성 기반 스코어.
• 트리거 구조 인식을 통해 스코어를 정밀화함: 의심되는 트리거 영역을 더 잘 커버하는 구조 인식 기반 MAE 마스크를 생성함.
• 임계값을 적용한 트리거 스코어를 기반으로 다수의 MAE 복원 결과를 적응적으로 융합하여 최종 예측을 위한 정제된 이미지를 생성함.
• 탐지와 복원 간 피드백을 통해 스코어와 마스크를 반복적으로 정밀화함으로써 트리거 국소화 정확도를 향상시킴.
• 모델 파rameter, 정상 데이터, 진짜 레이블에 대한 접근 없이도 완전히 블라인드 환경에서 작동함.

실험 결과

연구 질문

• RQ1 모델 파라미터나 정상 데이터에 접근할 수 없는 조건에서 테스트 시점 방어가 효과적으로 작동할 수 있는가?
• RQ2 마스크된 오토인코더를 사용해 트리거 패턴에 대한 사전 지식 없이도 토큰 공간에서 다양한 백도어 트리거를 탐지할 수 있는가?
• RQ3 원본 이미지와 복원된 이미지 간의 구조적 유사도와 레이블 일관성을 어떻게 활용해 트리거 탐지 정확도를 향상시킬 수 있는가?
• RQ4 구조 인식 기반의 트리거 스코어 정밀화가 탐지 정확도를 높이고 잡음(거짓 경고)을 줄일 수 있는가?
• RQ5 임계값을 적용한 다수의 MAE 복원 결과를 적응적으로 융합하면 이미지 정제의 강건성과 의미 보존 능력이 향상되는가?

주요 결과

• 대규모 트리거를 가진 ImageNet100에서 BDMAE는 정상 정확도(CA) 76.4%와 백도어 정확도(BA) 78.7%를 기록하며, PatchCleanser 및 기타 기준 기법들을 뛰어넘는 성능을 보였다.
• 1×1-색상 트리거에 대해서는 CA 73.2%와 BA 76.3%를 유지하여 다양한 트리거 유형에 대한 강력한 일반화 능력을 입증했다.
• 가장 도전적인 대규모 트리거 설정에서 BDMAE는 공격 성공률(ASR)을 0.2%로 낮추며 76.4%의 정상 정확도를 유지하여 높은 강건성을 보였다.
• 모든 트리거 유형과 크기에서 ASR가 거의 0% (0.1–0.2%) 수준으로 유지되었으며, 블러나 축소-패딩과 같은 강력한 데이터 변형 조건에서도 안정성을 확보했다.
• 재학습이나 데이터 접근 없이도 다양한 데이터셋과 트리거 패턴에서 높은 성능을 유지하여 강력한 일반화 능력을 입증했다.
• 임계값을 적용한 다수의 MAE 복원 결과를 적응적으로 융합함으로써 우수한 이미지 정제 성능을 달성했으며, 의미 정보는 유지하면서 트리거는 효과적으로 제거했다.