[논문 리뷰] FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases

Chong Fu, Xuhong Zhang외 5명|arXiv (Cornell University)|2023. 02. 28.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

FreeEagle는 정제된 또는 오염된 샘플이 필요 없이 DNN의 분류기 헤드를 분석하여 복잡한 신경 트로이 목마—특히 클래스별 및 회피 가능한 트리거 기반 공격—를 탐지하는 데이터 프리(backdoor) 탐지 방법이다. 최적화를 통해 가짜 중간 표현을 생성하고 클래스 사후 확률의 이질성을 탐지함으로써, 다양한 데이터셋과 모델 아키텍처에서 최신 기술인 DF-TND를 능가한다.

ABSTRACT

Trojan attack on deep neural networks, also known as backdoor attack, is a typical threat to artificial intelligence. A trojaned neural network behaves normally with clean inputs. However, if the input contains a particular trigger, the trojaned model will have attacker-chosen abnormal behavior. Although many backdoor detection methods exist, most of them assume that the defender has access to a set of clean validation samples or samples with the trigger, which may not hold in some crucial real-world cases, e.g., the case where the defender is the maintainer of model-sharing platforms. Thus, in this paper, we propose FreeEagle, the first data-free backdoor detection method that can effectively detect complex backdoor attacks on deep neural networks, without relying on the access to any clean samples or samples with the trigger. The evaluation results on diverse datasets and model architectures show that FreeEagle is effective against various complex backdoor attacks, even outperforming some state-of-the-art non-data-free backdoor detection methods.

연구 동기 및 목표

• 정제된 검증 데이터나 트리거 샘플이 확보되지 않은 모델 공유 플랫폼에서 백도어를 탐지할 긴급한 필요성을 해결한다.
• DF-TND와 같은 기존 데이터 프리 탐지기의 한계를 극복하며, 클래스별 및 의미 수준의 트리거에 대해 실패하는 문제를 해결한다.
• 외부 데이터에 의존하지 않고도 복잡한 트로이 목마, 즉 클래스 무관 및 클래스별 백도어를 효율적으로 탐지할 수 있도록 한다.
• 미세하고 의미 있는 트리거와 같은 다양한 유형의 트리거에 대해 강건성을 확보하며, 전통적인 입력 영역 분석을 회피하는 트리거에 대비한다.
• AI 모델 마켓플레이스 및 공유 플랫폼과 같은 실세계 환경에 적합한 확장 가능한 솔루션을 제공한다.

제안 방법

• FreeEagle는 DNN을 특징 추출기와 분류기 헤드로 분해하여, 후자의 행동 분석에 집중함으로써 고수준 표현에서의 백도어 행동을 탐지한다.
• 기존 정제된 또는 오염된 데이터가 필요 없도록, 기울기 기반 최적화를 통해 각 클래스에 대한 가짜 중간 표현을 생성한다.
• 정량 기반 메트릭을 사용해 분류기의 출력 사후 확률에 이상 탐지 기법을 적용하여 트로이 목마의 징후가 되는 이질적 행동을 식별한다.
• 모든 가능한 소스-대상 클래스 쌍을 점검함으로써 클래스별 백도어를 탐지하고, 탐지 커버리지의 극대화를 달성한다.
• 분류기의 결정 과정을 분석함으로써, 복잡하고 의미적인 트리거를 포함한 트리거 형태의 변형에 강건해진다.
• 최소 몇 개의 마지막 레이어에 집중함으로써 계산이 효율적이며, 데이터 프리 환경에서 모든 클래스 쌍을 신속하게 스캔할 수 있다.

실험 결과

연구 질문

• RQ1 정제된 또는 트리거가 삽입된 샘플이 전혀 확보되지 않은 상황에서 백도어 탐지 방법이 클래스별 백도어를 효과적으로 탐지할 수 있는가?
• RQ2 기존의 입력 영역 분석을 피하는 복잡하고 의미 수준의 트리거에 대해 데이터 프리 탐지기는 얼마나 잘 작동하는가?
• RQ3 분류기 헤드 행동에만 기반한 방법이 실세계 배포 환경에서 높은 정밀도와 낮은 거짓 경고 비율로 트로이 목마를 탐지할 수 있는가?
• RQ4 FreeEagle는 데이터 프리가 아닌 최신 기술 대비 탐지 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ5 트리거 패턴이나 모델 행동을 수정하여 탐지를 회피하려는 적대적 백도어 공격에 FreeEagle는 저항할 수 있는가?

주요 결과

• FreeEagle는 GTSRB 및 CIFAR-10과 같은 다양한 데이터셋에서 클래스 무관 및 클래스별 백도어 모두에서 뛰어난 탐지 성능을 기록한다.
• 모든 평가 기준에서 최신 기술인 데이터 프리 탐지기 DF-TND를 능가하며, 특히 클래스별 및 복잡한 트리거 공격 탐지에서 뛰어난 성능을 보인다.
• 트리거 패턴을 수정하는 적대적 백도어 공격 조건에서도 높은 진짜 양성 비율(TPR)을 유지하면서 거짓 양성 비율(FPR)을 0.05 이하로 낮춘다.
• GoogLeNet 및 VGG-16와 같은 다양한 모델 아키텍처에서 강력한 일반화 능력을 보이며, 이는 강건성을 확인한다.
• 데이터 증강을 비활성화한 경우에도 실험 결과 FreeEagle는 효과적이지만, 성능은 약간 저하된다.
• 분류기 헤드 분석에 의존함으로써, 의미적 및 패치 기반 트리거를 포함한 트리거 형태의 변형에 대해 저항력이 뛰어나다.