[논문 리뷰] ASSET: Robust Backdoor Data Detection Across a Multiplicity of Deep Learning Paradigms

Minzhou Pan, Yi Zeng외 3명|arXiv (Cornell University)|2023. 02. 22.

COVID-19 diagnosis using AI인용 수 6

한 줄 요약

ASSET는 두 단계의 중첩 오프셋 루프를 통해 정제된 샘플과 오염된 샘플 간의 모델 행동을 분리시켜, 엔드 투 엔드 지도 학습, 자기지도 학습, 전이 학습 환경에서 강력한 백도어 탐지가 가능한 새로운 능동적 백도어 탐지 방법을 제안한다. 이는 현재까지의 최고 성능을 기록하며, 가장 발전된 클린 레이블 백도어 공격을 탐지하고, SSL에서 기존 방법 대비 69.3% 향상된 탐지율과 TL에서 33.2% 향상된 성능을 달성한다.

ABSTRACT

Backdoor data detection is traditionally studied in an end-to-end supervised learning (SL) setting. However, recent years have seen the proliferating adoption of self-supervised learning (SSL) and transfer learning (TL), due to their lesser need for labeled data. Successful backdoor attacks have also been demonstrated in these new settings. However, we lack a thorough understanding of the applicability of existing detection methods across a variety of learning settings. By evaluating 56 attack settings, we show that the performance of most existing detection methods varies significantly across different attacks and poison ratios, and all fail on the state-of-the-art clean-label attack. In addition, they either become inapplicable or suffer large performance losses when applied to SSL and TL. We propose a new detection method called Active Separation via Offset (ASSET), which actively induces different model behaviors between the backdoor and clean samples to promote their separation. We also provide procedures to adaptively select the number of suspicious points to remove. In the end-to-end SL setting, ASSET is superior to existing methods in terms of consistency of defensive performance across different attacks and robustness to changes in poison ratios; in particular, it is the only method that can detect the state-of-the-art clean-label attack. Moreover, ASSET's average detection rates are higher than the best existing methods in SSL and TL, respectively, by 69.3% and 33.2%, thus providing the first practical backdoor defense for these new DL settings. We open-source the project to drive further development and encourage engagement: https://github.com/ruoxi-jia-group/ASSET.

연구 동기 및 목표

• 엔드 투 엔드 지도 학습(SL), 자기지도 학습(SSL) 적응, 전이 학습(TL)을 포함한 다양한 딥 러닝 철학에 일반화되는 강력한 백도어 탐지 방법의 부족을 해결한다.
• 기존 탐지 방법의 핵심적 한계를 규명한다—특히 공격 유형, 오염 비율, 학습 철학 간 일반화 능력 부족, 특히 최신의 클린 레이블 백도어 공격에 대한 실패 원인을 규명한다.
• 다양한 공격 기법, 오염 비율, 학습 설정에서도 높은 성능을 유지할 수 있는 탐지 프레임워크를 개발한다. 이는 이전 방법이 실패하거나 적용 불가가 되는 상황에서도 유사한 성능을 유지를 목표로 한다.
• 백도어 탐지 방법이 아직 존재하지 않는 자료 효율적인 학습 철학인 SSL 및 TL과 같은 신개념 학습 환경에서 실용적인 백도어 방어를 가능하게 한다.
• 기존 방어 전략을 고려해 트리거나 모델 행동을 수정하는 적응형 공격에 대비해, 탐지된 샘플을 활용한 단순한 언리닝 단계를 도입하여 후처리 보안 조치를 강화함으로써 탐지의 강건성을 확보한다.

제안 방법

• 두 단계의 중첩 오프셋 루프를 제안하여 모델 행동을 능동적으로 조작한다: 외부 루프는 모델의 결정 경계를 조정하여 정제된 샘플과 오염된 샘플 간의 차이를 극대화하고, 내부 루프는 학습된 오프셋을 기반으로 모델을 미세 조정하여 이를 분리한다.
• 학습 중에 반대 방향의 오프셋을 적용함으로써 정제된 샘플과 오염된 샘플에 대해 서로 다른 출력을 유도하는 손실 함수를 사용하여, 모델 내부 표현 간의 분리를 효과적으로 구현한다.
• 모델의 신뢰도와 샘플 간 예측의 분산 정도를 기반으로, 제거할 의심스러운 샘플의 최적 수를 결정하는 적응형 절차를 도입한다.
• 백도xed된 모델의 출력과 중간 활성값을 활용하여 오프셋 최적화 과정을 이끌어내어, 정적 통계적 성질이 아닌 모델 행동에 기반한 탐지가 이루어지도록 보장한다.
• 자기지도 학습 및 전이 학습 환경에서 탐지 프레임워크를 사전 학습된 임베딩 모듈 또는 고정된 특징 추출기로 활용하여 의심스러운 샘플 식별을 위한 임베딩를 생성한다.
• 탐지된 샘플에 대해 반대 방향 기울기(reverse gradient)를 적용한 후처리 언리닝 단계를 통합하여 백도어 영향을 추가로 감소시키고, 적응형 공격에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존의 백도어 탐지 방법은 엔드 투 엔드 SL, SSL 적응, TL와 같은 다양한 딥 러닝 철학 간에서 일관된 성능을 유지할 수 있는가?
• RQ2 기존 탐지 방법은 레이블 변경 없이 눈에 띄지 않는 특징 수준의 흐름을 사용하는 최신의 클린 레이블 백도어 공격에 대해 어떻게 성능을 내는가?
• RQ3 여러 학습 철학에서 오염 비율, 공격 유형, 모델 아키텍처의 변동에 강건한 통합 탐지 프레임워크를 설계할 수 있는가?
• RQ4 SSL 및 TL 환경에서 탐지가 가능한 메커니즘은 무엇이며, 이는 이전에 평가된 바가 없는 분야에서 어떻게 작동하는가?
• RQ5 기존 방어 전략을 고려해 트리거나 모델 행동을 수정하는 적응형 공격에 대비해 탐지를 어떻게 강건하게 만들 수 있는가?

주요 결과

• 기존의 백도어 탐지 방법은 레이블 변경 없이 눈에 띄지 않는 특징 수준의 흐름을 사용하는 최신의 클린 레이블 백도어 공격을 탐지하지 못한다.
• 엔드 투 엔드 SL 환경에서, 모든 기존 방법이 다양한 공격과 오염 비율 간에 일관성 없는 성능을 보이며, 극단적인 비율(예: 0.05% 또는 20%)에서 탐지율이 크게 하락한다.
• ASSET는 평가된 모든 설정에서 클린 레이블 백도어 공격을 탐지할 수 있는 唯一定의 방법으로, 이 고도로 발전된 위협에 대해 특별한 강건성을 입증한다.
• SSL 환경에서 ASSET는 기존 최고의 방법 대비 평균 탐지율이 69.3% 높아졌으며, 이는 이 철학에 대한 첫 번째 효과적인 백도어 탐지로 기록된다.
• TL 환경에서 ASSET는 기존 최고의 방법 대비 탐지 정확도를 33.2% 향상시켰으며, 이는 이 새로운 학습 환경에서 첫 번째 실용적인 방어 조치를 확립한 것이다.
• 탐지된 샘플을 활용한 언리닝을 통합한 결과, 모델 불일치 조건에서도 화이트박스 및 GRAY박스 적응형 공격에 대해 높은 방어 성능을 유지한다.