[논문 리뷰] AEVA: Black-box Backdoor Detection Using Adversarial Extreme Value Analysis

Junfeng Guo, Ang Li외 1명|arXiv (Cornell University)|2021. 10. 28.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 16

한 줄 요약

AEVA는 최종 출력 레이블만 접근 가능한 DNN에 대한 블랙박스 백도어 탐지 방법을 제안한다. 적대적 극단가치 분석을 통해 적대적 특이현상—적대적 변형 지도에서 급격한 피크가 발생하는 현상—을 이용해 백도어를 탐지한다. 다양한 작업과 공격에 대해 ≥86.7%의 탐지 정확도를 달성하며, 제한된 접근성에도 불구하고 화이트박스 방법과 유사한 성능을 보인다.

ABSTRACT

Deep neural networks (DNNs) are proved to be vulnerable against backdoor attacks. A backdoor is often embedded in the target DNNs through injecting a backdoor trigger into training examples, which can cause the target DNNs misclassify an input attached with the backdoor trigger. Existing backdoor detection methods often require the access to the original poisoned training data, the parameters of the target DNNs, or the predictive confidence for each given input, which are impractical in many real-world applications, e.g., on-device deployed DNNs. We address the black-box hard-label backdoor detection problem where the DNN is fully black-box and only its final output label is accessible. We approach this problem from the optimization perspective and show that the objective of backdoor detection is bounded by an adversarial objective. Further theoretical and empirical studies reveal that this adversarial objective leads to a solution with highly skewed distribution; a singularity is often observed in the adversarial map of a backdoor-infected example, which we call the adversarial singularity phenomenon. Based on this observation, we propose the adversarial extreme value analysis(AEVA) to detect backdoors in black-box neural networks. AEVA is based on an extreme value analysis of the adversarial map, computed from the monte-carlo gradient estimation. Evidenced by extensive experiments across multiple popular tasks and backdoor attacks, our approach is shown effective in detecting backdoor attacks under the black-box hard-label scenarios.

연구 동기 및 목표

• 최종 출력 레이블만 접근 가능한 완전한 블랙박스 DNN에서 백도어를 탐지하는 문제를 다루는 것.
• 모델 파라미터, 훈련 데이터, 신뢰도 점수에 접근이 필요한 기존 방법의 한계를 극복하는 것.
• 모델 내부 정보가 없이도 감염의 탐지 가능한 서명을 식별하여 엣지 및 클라우드 환경에서의 실용적 구현을 가능하게 하는 것.
• 단일 레이블 내에서 다중 트리거가 존재하는 상황에서도 저하되지 않는 강건성을 확보하는 것.

제안 방법

• 이론적 분석을 통해 적대적 목표에 의해 제약된 최적화 문제로 백도어 탐지를 수식화한다.
• 블랙박스 하드레이블 환경에서 몬테카를로 기울기 추정을 사용해 적대적 변형 지도를 계산한다.
• 적대적 특이현상—적대적 지도에서 급격한 피크가 발생하는 현상—을 탐지하여 백도어 감염의 징후로 활용한다.
• 다양한 입력에 대해 적대적 피크 값에 대해 극단가치 분석을 적용하고, 전역 적대적 피크(GAP)를 통계적 측정치로 사용한다.
• GAP 값에 대해 중앙절대편차(MAD) 알고리즘을 적용하여 모델을 감염 여부에 따라 분류한다.
• 다중 트리거를 고려하기 위해 최상위 다섯 적대적 피크 값의 합을 사용하여 특이성 탐지 성능 유지를 도모한다.

실험 결과

연구 질문

• RQ1 최종 레이블 접근만으로도 완전한 블랙박스 환경에서 백도어 탐지가 효과적으로 수행될 수 있는가?
• RQ2 백도어 탐지에서의 적대적 목표가 적대적 지도에 분포 이상 현상으로 이어지는가?
• RQ3 극단적인 피크로 특징지어지는 적대적 특이현상은 백도어 탐지에 신뢰성 있게 활용될 수 있는가?
• RQ4 레이블 수가 적고, 한 레이블에 다중 트리거가 존재하는 상황에서도 제안된 방법의 강건성은 어떻게 확보되는가?
• RQ5 다중 레이블 감염이나 조밀한 트리거와 같은 적응형 공격에 저항할 수 있는가?

주요 결과

• AEVA는 블랙박스 하드레이블 조건에서 다양한 작업, DNN 아키텍처, 백도어 공격 방법에 대해 ≥86.7%의 탐지 정확도를 달성한다.
• 레이블의 4%만 제공되더라도(예: 200개 중 8개), AEVA는 높은 탐지 성능 유지를 보이며, 저자료 환경에서의 실용성을 입증한다.
• 적대적 특이현상—적대적 지도에서 극단적인 피크가 관찰되는 현상—은 감염된 예제의 60%에서 발생하여 신뢰할 수 있는 탐지가 가능하다.
• 매우 적은 레이블로도 감염되지 않은 모델을 100% 정확도로 식별할 수 있었는데, 이는 낮은 이상치 지수 값 덕분이었다.
• 한 레이블에 다중 트리거가 삽입된 경우, 상위 다섯 피크 값의 합을 사용함으로써 AEVA의 성능은 약간만 저하되며, 두 개의 트리거에서는 93.3%의 정확도, 세 개의 트리거에서는 88.3%의 정확도를 기록한다.
• 다중 레이블 감염이나 조밀한 트리거와 같은 적응형 공격에 대해 AEVA는 강건성을 유지한다. 이러한 공격는 모델의 정확도 또는 강건성을 저하시켜 도청의 가능성과 비용을 증가시키기 때문이다.