[논문 리뷰] Detecting Backdoor Poisoning Attacks on Deep Neural Networks by Heatmap Clustering

Lukas Schulth, Christian Berghoff외 1명|arXiv (Cornell University)|2022. 04. 27.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 레이어별 중요도 전파(LRP)를 통해 생성된 히트맵에 k-means 군집화를 적용함으로써 딥 네ural 네트워크에서의 백도어 침입 공격을 탐지하는 새로운 방법인 히트맵 군집화(HC)를 제안한다. HC는 표준 백도어 공격과 레이블 일관성 있는 백도어 공격 모두에서 활성도 군집화(AC)를 능가하며, 특히 트리거 시각적 가시성이 낮아진 조건에서도 뛰어난 성능을 보이며, 33% 오염된 데이터에서 최대 99.82%의 정확도와 100%의 참양성도를 달성했고, 성능의 분산이 매우 낮다.

ABSTRACT

Predicitions made by neural networks can be fraudulently altered by so-called poisoning attacks. A special case are backdoor poisoning attacks. We study suitable detection methods and introduce a new method called Heatmap Clustering. There, we apply a $k$-means clustering algorithm on heatmaps produced by the state-of-the-art explainable AI method Layer-wise relevance propagation. The goal is to separate poisoned from un-poisoned data in the dataset. We compare this method with a similar method, called Activation Clustering, which also uses $k$-means clustering but applies it on the activation of certain hidden layers of the neural network as input. We test the performance of both approaches for standard backdoor poisoning attacks, label-consistent poisoning attacks and label-consistent poisoning attacks with reduced amplitude stickers. We show that Heatmap Clustering consistently performs better than Activation Clustering. However, when considering label-consistent poisoning attacks, the latter method also yields good detection performance.

연구 동기 및 목표

• 레이블 일관성 있는 변형 백도어 공격는 인간의 시각적 검토로는 탐지하기 어려운 점을 감안해, 백도어 침입 공격 탐지의 과제를 해결한다.
• 인간이 인지할 수 있는 트리거 패턴에 의존하지 않고도 오염된 데이터 포인트를 식별할 수 있는 강건한 탐지 방법을 개발한다.
• 다양한 백도어 공격 변형을 탐지하는 데 있어, 히트맵 기반 군집화와 활성도 기반 군집화의 효과를 평가한다.
• 이전에는 탐지 불가능하다고 여겨졌던 레이블 일관성 있는 백도어 공격—즉, 오염된 샘플이 정확한 레이블을 가진 경우—가 설명 가능한 AI 기법인 LRP를 통해 탐지 가능하다는 것을 보여준다.

제안 방법

• 각 데이터 포인트에 대해 레이어별 중요도 전파(LRP)를 적용하여 입력-활성도 히트맵을 생성함으로써 네트워크 내 특징 중요도를 시각화한다.
• Gromov-Wasserstein 거리 측정법을 사용하여 복잡한 비유클리드적 중요도 분포 간의 유사도를 측정함으로써, LRP 히트맵에 k-means 군집화를 적용하여 데이터 포인트를 결정 전략 기반으로 군집화한다.
• 군집화 결과를 비교하여 오염된 샘플에 해당하는 이질적 군집(아웃라이어)을 식별함으로써, 오염된 데이터는 별도의 결정 전략 패턴을 따르는 것으로 가정한다.
• 기본 방법으로 활성도 군집화(AC)를 구현하였으며, 이는 중간 레이어의 활성도에 k-means 군집화를 적용하는 방식이다.
• Gromov-Wasserstein 거리를 사용하여 히트맵 간의 구조적 유사도를 측정함으로써, 복잡한 비유클리드적 중요도 분포 간의 비교를 가능하게 한다.
• 다양한 공격 설정에서 탐지 성능을 평가하기 위해 탐지 정확도(ACC), 참양성도(TPR), 참음성도(TNR) 등의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 LRP를 통한 히트맵 군집화는 활성도 군집화보다 표준 백도어 침입 공격을 더 효과적으로 탐지할 수 있는가?
• RQ2 트리거의 진폭을 감소시켜 시각적으로 인지하기 어려운 수준으로 만들었을 때도 히트맵 군집화는 여전히 효과적인가?
• RQ3 레이블 일관성 있는 백도어 공격—즉, 오염된 샘플이 정확한 레이블을 가진 경우—도 설명 가능한 AI 기법을 통해 탐지 가능한가?
• RQ4 트리거 위치 변화나 이미지 선택 변화에 따라 히트맵 군집화의 강건성은 활성도 군집화와 비교해 어떻게 되는가?
• RQ5 히트맵 군집화에서는 탐지 정확도와 계산 비용 간의 성능 상충 관계가 존재하는가?

주요 결과

• 히트맵 군집화(HC)는 레이블 일관성 있는 공격에서 33% 오염된 데이터에 대해 평균 탐지 정확도 99.82%와 참양성도 99.46%를 기록하였으며, 활성도 군집화(AC)를 크게 능가하였다.
• 트리거 진폭을 감소시킨 공격(예: 32) 상황에서 HC는 탐지 정확도 81.58%와 TPR 58.46%를 유지하였고, AC는 정확도 78.97%와 TPR 74.26%로 하락하였다.
• HC는 탐지 성능에서 근사적으로 0에 가까운 분산(정확도 표준편차 0.19)을 보였고, 반면 AC는 표준편차 6.81을 보이며 훨씬 높은 변동성을 보여, 더 뛰어난 강건성을 입증하였다.
• 33% 오염된 데이터와 감소된 트리거 진폭 조건에서 공격 성공률(ASR)은 AC가 25.65%로 떨어졌고, HC는 81.58%로 유지되어, HC가 미세한 트리거에 대해 뛰어난 내성성을 보였다.
• 본 연구는 레이블 일관성 있는 백도어 공격는 탐지 불가능하다는 주장을 반박하며, LRP 기반 히트맵 분석을 통해 이러한 공격도 식별 가능하다는 것을 입증하였다.
• Gromov-Wasserstein 거리 계산이 계산적으로 매우 비용이 많이 들기 때문에, HC는 AC보다 훨씬 긴 실행 시간을 가지며, 이는 하이브리드 탐지 파이프라인의 최적성 가능성을 시사한다.