[논문 리뷰] Blacklight: Defending Black-Box Adversarial Attacks on Deep Neural Networks.

Huiying Li, Shawn Shan외 4명|arXiv (Cornell University)|2020. 06. 24.

Adversarial Robustness in Machine Learning참고 문헌 56인용 수 24

한 줄 요약

Blacklight는 입력 이미지마다 강력하고 단방향 해시 지문을 생성하여 악성 쿼리를 탐지하는 새로운 방식의 방어 기법이다. 이 지문은 소규모 이미지 변형에 대해 거의 동일하게 유지되므로, 악성 공격 쿼리(종종 2~5개 쿼리 내로)를 조기에 탐지할 수 있으며, 쿼리 효율성이 높은 강력한 공격 및 고도의 대응 기법에도 효과적이다.

ABSTRACT

The vulnerability of deep neural networks (DNNs) to adversarial examples is well documented. Under the strong white-box threat model, where attackers have full access to DNN internals, recent work has produced continual advancements in defenses, often followed by more powerful attacks that break them. Meanwhile, research on the more realistic black-box threat model has focused almost entirely on reducing the query-cost of attacks, making them increasingly practical for ML models already deployed today. This paper proposes and evaluates Blacklight, a new defense against black-box adversarial attacks. Blacklight targets a key property of black-box attacks: to compute adversarial examples, they produce sequences of highly similar images while trying to minimize the distance from some initial benign input. To detect an attack, Blacklight computes for each query image a compact set of one-way hash values that form a probabilistic fingerprint. Variants of an image produce nearly identical fingerprints, and fingerprint generation is robust against manipulation. We evaluate Blacklight on 5 state-of-the-art black-box attacks, across a variety of models and classification tasks. While the most efficient attacks take thousands or tens of thousands of queries to complete, Blacklight identifies them all, often after only a handful of queries. Blacklight is also robust against several powerful countermeasures, including an optimal black-box attack that approximates white-box attacks in efficiency. Finally, Blacklight significantly outperforms the only known alternative in both detection coverage of attack queries and resistance against persistent attackers.

연구 동기 및 목표

• 쿼리 효율성을 악용해 탐지되는 것을 피하는 실용적인 블랙박스 공격의 증가하는 위협에 대응하기 위해.
• 모델 노출이 상당히 진행되기 이전에 공격 과정의 조기에 악성 쿼리를 탐지하기 위해.
• 백색상자 성능을 근사하는 최적의 블랙박스 공격에도 효과적으로 작동하는 방어 기법을 설계하기 위해.
• 지속적인 공격자에 대비해 탐지 커버리지와 내성 모두에서 기존 방어 기법을 뛰어넘기 위해.
• 실제 운영 환경에서의 머신러닝 모델 배포에 적합한 경량이고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• Blacklight는 각 입력 이미지에 대해 단순한 일방향 해시 값 집합을 생성하여, 소규모 악성 변형에 대해 불변인 확률적 지문을 형성한다.
• 지문 기반 메커니즘은 이미지 변형에 강건하도록 설계되어, 동일한 이미지의 변형(예: 악성 변형)이 거의 동일한 지문을 생성하도록 보장한다.
• 쿼리 시퀀스가 지나치게 유사한 지문을 생성할 경우 탐지가 활성화되며, 이는 악성 공격 존재를 시사한다.
• 이 방법은 블랙박스 공격이 선량한 입력에 가까운 이미지 시퀀스를 생성하여 거리의 최소화를 도모한다는 가정에 기반한다.
• 모델 내부 분석이나 내부 기울기 접근이 필요 없기 때문에 블랙박스 환경에 적합하다.
• 기본 모델 아키텍처나 분류 작업에 관계없이 적용 가능하므로 광범위한 적용성을 지닌다.

실험 결과

연구 질문

• RQ1 경량이며 쿼리에 종속되지 않는 방어 기법은 최소한의 쿼리 노출로도 블랙박스 공격을 조기에 탐지할 수 있는가?
• RQ2 백색상자 효율성을 모방하는 최신 기술의 저쿼리 블랙박스 공격에 대해 Blacklight는 얼마나 효과적인가?
• RQ3 공격자가 탐지를 피하기 위해 적응하는 지속적인 공격 상황에서도 Blacklight는 높은 탐지 정확도를 유지할 수 있는가?
• RQ4 고도의 대응 기법에 대비해 기존 방어 기법과 비교할 때 Blacklight의 탐지 커버리지와 내성은 어떠한가?
• RQ5 다양한 이미지 변형과 악성 변형 상황에서도 지문 기반 메커니즘이 강건한가?

주요 결과

• Blacklight는 평가한 다섯 가지 최신 기술의 블랙박스 공격을 모두 탐지하며, 종종 2~5개 쿼리 내로 공격를 식별한다.
• 쿼리 비용을 최소화하고 백색상자 행동을 모방하도록 최적화된 공격에도 높은 탐지 정확도를 유지한다.
• 지속적인 공격자에 대비해 탐지 커버리지와 저항력 면에서 유일하게 알려진 대안 방어 기법보다 뚜렷이 뛰어나다.
• 백색상자에 근접한 쿼리 효율성을 달성하는 최적의 블랙박스 공격에 대해서도 효과가 유지된다.
• 이미지 변형에 대해 지문 기반 기법이 강건하여, 악성 변형에 걸쳐 일관된 탐지가 가능하다.
• 모델 내부 정보가 필요 없기 때문에 실무 환경의 프로덕션 수준 시스템에 배포 가능한 것으로 입증되었다.