[논문 리뷰] An Overview of Backdoor Attacks Against Deep Neural Networks and Possible Defences

Wei Guo, Benedetta Tondi외 1명|arXiv (Cornell University)|2021. 11. 16.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 딥 네ural 네트워크(DNN)에 대한 백도어 공격에 대한 종합적인 서베이를 제공하며, 공격자가 훈련 과정을 얼마나 제어할 수 있는지와 방어자가 검증 능력을 갖추고 있는지를 기반으로 분류한다. 공격 유형, 탐지 방법, 방어 조치를 검토하며, 특히 적대적 예측 탐지용 백도어 기반 워터마킹과 트랩도어 홀로우포트를 포함한다. 다양한 응용 시나리오에서의 강점, 약점, 적합성을 강조한다.

ABSTRACT

Together with impressive advances touching every aspect of our society, AI technology based on Deep Neural Networks (DNN) is bringing increasing security concerns. While attacks operating at test time have monopolised the initial attention of researchers, backdoor attacks, exploiting the possibility of corrupting DNN models by interfering with the training process, represents a further serious threat undermining the dependability of AI techniques. In a backdoor attack, the attacker corrupts the training data so to induce an erroneous behaviour at test time. Test time errors, however, are activated only in the presence of a triggering event corresponding to a properly crafted input sample. In this way, the corrupted network continues to work as expected for regular inputs, and the malicious behaviour occurs only when the attacker decides to activate the backdoor hidden within the network. In the last few years, backdoor attacks have been the subject of an intense research activity focusing on both the development of new classes of attacks, and the proposal of possible countermeasures. The goal of this overview paper is to review the works published until now, classifying the different types of attacks and defences proposed so far. The classification guiding the analysis is based on the amount of control that the attacker has on the training process, and the capability of the defender to verify the integrity of the data used for training, and to monitor the operations of the DNN at training and test time. As such, the proposed analysis is particularly suited to highlight the strengths and weaknesses of both attacks and defences with reference to the application scenarios they are operating in.

연구 동기 및 목표

• 공격자가 훈련 과정을 얼마나 제어할 수 있는지와 방어자가 검증 능력을 갖추고 있는지를 기반으로 DNN의 백도어 공격 및 방어를 체계적으로 분류하기.
• 백도어 공격에 대한 공식적인 위협 모델을 제안하여 전체 제어 및 부분 제어 시나리오를 구분하기.
• 기존의 백도어 탐지 및 제거 기법의 효과성과 한계를 평가하기.
• 백도어를 DNN 워터마킹 및 적대적 예측 탐지에 이중 용도로 사용할 수 있는 잠재력을 탐색하기.
• 세분 조정, 전이 학습, 블랙박스 공격에 대한 강건성 문제를 규명하기.

제안 방법

• 공격자가 모델을 훈련하는 데 전체 제어를 가지는 경우와 데이터 또는 기울기 조작을 통해 부분 제어를 가지는 경우로 백도어 공격을 분류한다.
• 훈련 및 테스트 시점에서 공격자 능력과 방어자 제약 조건을 분석하기 위한 공식적인 위협 모델 프레임워크를 제안한다.
• 훈련 시점(예: 훈련 동역학 모니터링)과 테스트 시점(예: 활성화 분석, 입력 프로빙)에서 작동하는 탐지 기법을 검토한다.
• 백도어 기반 워터마킹을 검토한다: 특정 트리거를 가진 오염된 훈련 데이터를 통해 백도어를 동적 워터마킹으로 삽입한다.
• 트랩도어 홀로우포트의 개념을 도입한다: 낮은 에너지 트리거를 가진 DNN을 훈련시어 적대적 예측을 탐지하기 위해 트리거 근처의 유사성을 식별한다.
• 세분 조정 및 전이 학습 하에서 워터마킹과 방어 조치의 강건성을 평가하며, 핵심 취약점을 규명한다.

실험 결과

연구 질문

• RQ1 훈련 과정에서 공격자가 가지는 제어 수준이 백도어 공격의 실현 가능성과 은폐성에 어떤 영향을 미치는가?
• RQ2 훈련 시점과 테스트 시점의 백도어 탐지 기법 간 효과성의 주요 차이는 무엇인가?
• RQ3 동적 워터마킹을 통해 백도어를 활용해 DNN 지적 재산권을 얼마나 효과적으로 보호할 수 있는가?
• RQ4 트랩도어 기반 홀로우포트는 표적 적대적 예측을 효과적으로 탐지할 수 있으며, 그 한계는 무엇인가?
• RQ5 왜 전이 학습 하에서 백도어 기반 워터마킹의 강건성이 특히 취약한가? 이를 어떻게 향상시킬 수 있는가?

주요 결과

• 오염을 통한 백도어 기반 워터마킹은 ASR(공격 성공률)를 검증 지표로 사용해 소유권을 확립할 수 있지만, 세분 조정 후나 특히 전이 학습 하에서는 강건성이 크게 떨어진다.
• 낮은 에너지 트리거를 활용한 트랩도어 홀로우포트 방어는 적대적 공격이 자주 악용할 가능성이 있는 트리거 근처의 유사성을 탐지함으로써 표적 적대적 예측을 높은 정확도로 탐지한다.
• 기존의 방어 조치는 특정 위협 모델에서는 효과적이지만, 비표적 또는 블랙박스 적대적 공격에는 종종 실패한다.
• 전이 학습은 동적 워터마킹의 강건성을 심각하게 약화시켜 실용적 지적 재산권 보호에 있어 주요 제약 요소가 된다.
• 백도어를 워터마킹 및 적대적 탐지에 사용하는 것은 이중 용도의 잠재력을 드러내지만, 정적 워터마킹에 비해 보안성과 패킷 용량 측면에서 여전히 제한되어 있다.
• 어느 방어 조치도 보편적으로 효과적이지 않으며, 강건성은 공격 시나리오, 모델 아키텍처, 세분 조정과 같은 후처리 작업에 크게 의존한다.