[논문 리뷰] Planting Undetectable Backdoors in Machine Learning Models

Shafi Goldwasser, Michael P. Kim외 2명|arXiv (Cornell University)|2022. 04. 14.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

이 논문은 외주화된 모델 훈련 환경에서 악성 기계학습 서비스 제공자가 훈련된 모델에 탐지하기 어려운 백도어를 삽입할 수 있음을 보여준다. 이는 미세한 입력 변형으로도 예측을 원격으로 제어할 수 있게 한다. 디지털 서명 또는 암호학적 가정 기반의 랜덤 특징 학습을 사용할 경우, 백도어는 백색 상자 분석 조건에서도 정상 모델과 계산적으로 구분되지 않아, 외주 모델 훈련에 대한 신뢰를 파괴한다.

ABSTRACT

Given the computational cost and technical expertise required to train machine learning models, users may delegate the task of learning to a service provider. We show how a malicious learner can plant an undetectable backdoor into a classifier. On the surface, such a backdoored classifier behaves normally, but in reality, the learner maintains a mechanism for changing the classification of any input, with only a slight perturbation. Importantly, without the appropriate "backdoor key", the mechanism is hidden and cannot be detected by any computationally-bounded observer. We demonstrate two frameworks for planting undetectable backdoors, with incomparable guarantees. First, we show how to plant a backdoor in any model, using digital signature schemes. The construction guarantees that given black-box access to the original model and the backdoored version, it is computationally infeasible to find even a single input where they differ. This property implies that the backdoored model has generalization error comparable with the original model. Second, we demonstrate how to insert undetectable backdoors in models trained using the Random Fourier Features (RFF) learning paradigm or in Random ReLU networks. In this construction, undetectability holds against powerful white-box distinguishers: given a complete description of the network and the training data, no efficient distinguisher can guess whether the model is "clean" or contains a backdoor. Our construction of undetectable backdoors also sheds light on the related issue of robustness to adversarial examples. In particular, our construction can produce a classifier that is indistinguishable from an "adversarially robust" classifier, but where every input has an adversarial example! In summary, the existence of undetectable backdoors represent a significant theoretical roadblock to certifying adversarial robustness.

연구 동기 및 목표

• 외주 모델 훈련에서 신뢰할 수 없는 기계학습 서비스 제공자에 대한 위험을 조사하는 것.
• 백도어가 강력한 백색 상자 공격자에게조차도 탐지되지 않도록 모델에 삽입될 수 있음을 보여주는 것.
• 이러한 백도어가 후처리 과정을 거쳐도 유지되며, 외부 관찰자가 이를 재현할 수 없음을 보여주는 것.
• 적대적 강건성의 이론적 기초를 도전하는 것: '강건한' 모델이라도 탐지되지 않게 백도어를 삽입할 수 있음을 보여주는 것.

제안 방법

• 디지털 서명 기반 기법을 사용하여, 질의 접근 권한이 있는 조건에서 원본 모델과 계산적으로 구분되지 않는 백도어를 구축한다. 이로써 두 모델 간에 다를 수 있는 입력이 존재하지 않도록 보장한다.
• 이 방법은 재현 불가능성을 보장한다: 백도어가 삽입된 모델과 그 출력에 대한 전체 액세스 권한이 주어져도, 악성 공격자는 새로운 백도어 입력을 생성할 수 없다.
• 랜덤 푸리에 특징(RFF)의 경우, 백도어는 훈련 중에 사용된 랜덤 시드만 조작하여 삽입되며, 알고리즘의 정확성을 유지한다.
• RFF 기반 백도어의 보안은 연속적 학습 오류 문제(Continuous Learning With Errors, CLWE)의 난이도에 기반한다.
• 유사한 구성은 희박 PCA의 난이도에 기반한 랜덤 ReLU 네트워크에 대해서도 제시된다.
• 이 접근법은 훈련 데이터와 모델 아키텍처에 대한 완전한 지식이 있더라도, 효율적인 식별자가 백도어 존재 여부를 탐지할 수 없음을 보장한다.

실험 결과

연구 질문

• RQ1 악성 서비스 제공자가 계산적으로 유한한 관찰자에게도 탐지되지 않는 백도어를 기계학습 모델에 삽입할 수 있는가?
• RQ2 탐지되지 않으며 동시에 재현 불가능한 백도어를 구성할 수 있는가? 즉, 공격자가 새로운 백도어 입력을 생성할 수 없는가?
• RQ3 랜덤 푸리에 특징(RFF) 기반 모델에 대해, 백색 상자 분석 조건에서도 탐지되지 않는 백도어를 구성할 수 있는가?
• RQ4 탐지되지 않는 백도어의 존재가 기계학습 모델의 적대적 강건성 이론적 보장을 약화시키는가?
• RQ5 CLWE나 희박 PCA의 난이도와 같은 암호학적 가정을 사용해 이러한 백도어의 보안을 공식적으로 증명할 수 있는가?

주요 결과

• 제안된 백도어 메커니즘은 원본 모델과 계산적으로 구분되지 않으며, 효율적인 식별자가 질의 접근 권한이 있는 상태에서도 차이를 탐지할 수 없다.
• 백도어가 삽입된 모델는 원본 모델과 유사한 일반화 오차를 유지하므로, 표준 평가 조건에서는 신뢰할 수 있는 것처럼 보인다.
• 이 구성은 재현 불가능성을 보장한다: 모델과 그 행동에 대한 전체 액세스 권한이 주어져도, 공격자는 새로운 백도어 입력을 생성할 수 없다.
• RFF 기반 모델의 경우, 백도어는 훈련 데이터와 모델 아키텍처에 대한 완전한 지식이 있는 백색 상자 식별자에게도 탐지되지 않는다.
• RFF 기반 백도어의 보안은 연속적 학습 오류(CLWE) 문제의 난이도에 기반하여 증명된다.
• 논문은 심지어 '적대적 강건성'을 갖춘 모델이라도 탐지되지 않게 백도어를 삽입할 수 있음을 보여주며, 강건성 인증의 기본적인 한계를 드러낸다.