[논문 리뷰] Trigger Hunting with a Topological Prior for Trojan Detection

Xiao Hu, Xiao Lin외 4명|arXiv (Cornell University)|2021. 10. 15.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 7

한 줄 요약

이 논문은 공간적으로 농축되고 국소화된 트리거를 강제하기 위해 위상적 사전 지식을 활용하고, 다각도 손실을 통해 여러 개의 서로 다른 트리거 후보를 생성함으로써 트로이 목표 탐지에 대한 새로운 트리거 탐색 방법을 제안한다. 트리거 품질을 향상시키고 대상 레이블에 종속되지 않는 탐지 기능을 제공함으로써, 제한된 학습 데이터 조건에서도 TrojAI 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, AUC는 최대 0.92에 이를 수 있다.

ABSTRACT

Despite their success and popularity, deep neural networks (DNNs) are vulnerable when facing backdoor attacks. This impedes their wider adoption, especially in mission critical applications. This paper tackles the problem of Trojan detection, namely, identifying Trojaned models -- models trained with poisoned data. One popular approach is reverse engineering, i.e., recovering the triggers on a clean image by manipulating the model's prediction. One major challenge of reverse engineering approach is the enormous search space of triggers. To this end, we propose innovative priors such as diversity and topological simplicity to not only increase the chances of finding the appropriate triggers but also improve the quality of the found triggers. Moreover, by encouraging a diverse set of trigger candidates, our method can perform effectively in cases with unknown target labels. We demonstrate that these priors can significantly improve the quality of the recovered triggers, resulting in substantially improved Trojan detection accuracy as validated on both synthetic and publicly available TrojAI benchmarks.

연구 동기 및 목표

• 트로이 목표 탐지에서 고차원적이고 비구조적인 트리거 탐색 공간 문제를 해결하기 위해.
• 특히 레이블이 알려지지 않은 실제 환경에서 레이블에 대한 사전 지식 없이도 효과적인 탐지 기능을 제공하기 위해.
• 복구된 트리거의 품질과 농축성을 향상시켜 오진을 감소시키고 탐지 신뢰도를 향상시키기 위해.
• 제한된 학습 데이터로도 효율적으로 확장 가능한 강력한, 레이블에 종속되지 않는 역공학 프레임워크를 개발하기 위해.

제안 방법

• 복구된 트리거의 연결 성분 수를 제약하기 위해 지속적 호모로지 기반 위상 손실을 도입하여 공간적 농축성과 국소화를 보장한다.
• 다양성 손실을 활용하여 여러 번의 역공학 실행 동안 서로 다른 구조적 특성을 가진 트리거 후보를 생성한다.
• 정규화된 입력에서 잠재 트리거를 탐색하기 위해 위상 손실과 다양성 손실을 모두 활용한 기울기 기반 최적화를 수행한다.
• 복구된 트리거에서 기하학적, 색상, 위상적 특징과 함께 네트워크 활성화 패턴을 추출하여 후속 탐지에 활용한다.
• 이러한 특징을 기반으로 트로이 목표 모델과 정상 모델을 구분하는 트로이 목표 탐지 분류기를 학습시킨다.
• 감독 및 비감독 탐지 설정을 모두 지원하여 방법의 유연성과 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 위상적 사전 지식은 역공학 기반 트로이 목표 탐지에서 복구된 트리거의 농축성과 국소화를 향상시키는가?
• RQ2 대상 레이블이 알려지지 않은 조건에서 다양한 트리거 후보를 생성하면 탐지 성능이 어떻게 향상되는가?
• RQ3 자료가 부족한 조건에서 위상적 및 다양성 손실은 탐지 정확도를 얼마나 향상시키는가?
• RQ4 제안된 방법은 탐지에 대한 레이블이 있는 학습 데이터가 없이도 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 TrojAI-Round4 벤치마크에서 AUC 0.92를 달성하여 기존 기준선을 초월하고 최신 기술 수준(SOTA) 성능을 입증하였다.
• 위상 손실을 제거하면 AUC가 0.89로 감소하여, 이 손실이 트리거의 농축성과 탐색 효율성 향상에 기여한다는 것을 확인하였다.
• 다양성 손실을 제거하면 AUC가 0.85로 감소하여, 이 손실이 레이블에 종속되지 않은 조건에서 진짜 트리거를 복구할 확률을 높이는 데 중요한 역할을 한다는 것을 입증하였다.
• 단지 25개의 학습 샘플만으로도 77%의 정확도를 달성하여 기존 기준선을 크게 앞서며, 자료가 제한된 조건에서도 강건함을 입증하였다.
• 위상 손실은 수렴 속도를 가속화하여 유효한 트리거를 찾는 데 필요한 반복 횟수를 약 50회에서 약 30회로 감소시켰다.
• 감독 및 비감독 탐지 설정 모두에서 강력한 성능을 유지하여 광범위한 적용 가능성을 입증하였다.