[논문 리뷰] Small Input Noise is Enough to Defend Against Query-based Black-box Attacks

Junyoung Byun, Hyojun Go외 1명|arXiv (Cornell University)|2021. 05. 04.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 7

한 줄 요약

이 논문은 추론 시 최소한의 입력 노이즈를 추가하여 쿼리 기반 블랙박스 공격을 방해하는 간단하면서도 효과적인 방어 기법인 소음 방어(Small Noise Defense, SND)를 제안한다. 모델 출력이 정확히 쿼리 입력과 일치한다는 가정을 깨뜨림으로써, SND는 공격의 기울기 추정과 국소 탐색을 심각하게 저해하며, CIFAR-10과 ImageNet에서 거의 영향을 주지 않고 최소한의 계산 오버헤드로 강력한 내공성을 달성한다.

ABSTRACT

While deep neural networks show unprecedented performance in various tasks, the vulnerability to adversarial examples hinders their deployment in safety-critical systems. Many studies have shown that attacks are also possible even in a black-box setting where an adversary cannot access the target model's internal information. Most black-box attacks are based on queries, each of which obtains the target model's output for an input, and many recent studies focus on reducing the number of required queries. In this paper, we pay attention to an implicit assumption of these attacks that the target model's output exactly corresponds to the query input. If some randomness is introduced into the model to break this assumption, query-based attacks may have tremendous difficulty in both gradient estimation and local search, which are the core of their attack process. From this motivation, we observe even a small additive input noise can neutralize most query-based attacks and name this simple yet effective approach Small Noise Defense (SND). We analyze how SND can defend against query-based black-box attacks and demonstrate its effectiveness against eight different state-of-the-art attacks with CIFAR-10 and ImageNet datasets. Even with strong defense ability, SND almost maintains the original clean accuracy and computational speed. SND is readily applicable to pre-trained models by adding only one line of code at the inference stage, so we hope that it will be used as a baseline of defense against query-based black-box attacks in the future.

연구 동기 및 목표

• 안전 기반 응용 분야에서 딥 네ural 네트워크의 쿼리 기반 블랙박스 공격에 대한 취약성을 해결하기 위해.
• 쿼리 기반 공격에서 모델 출력이 정확히 입력 쿼리를 반영한다는 암묵적 가정을 도전하기 위해.
• 높은 정상 정확도와 추론 효율성을 유지하면서도 경량이고 실용적인 방어 기법을 개발하기 위해.
• 표준 벤치마크에서 다양한 최첨단 쿼리 기반 공격에 대해 방어의 내공성을 입증하기 위해.

제안 방법

• 추론 시 입력에 작은 무작위 가감 노이즈를 추가하는 소음 방어(Small Noise Defense, SND)를 도입한다.
• 모델 응답의 본질적 랜덤성을 활용하여 입력 쿼리와 출력 간의 결정론적 대응을 깨뜨린다.
• 유사한 입력에서 모델 출력이 예측 가능성이 떨어지게 하여 공격의 기울기 추정을 방해한다.
• 공격의 국소 탐색을 방해하기 위해, 적대적 예제 주변의 진짜 손실 곡면을 흐리게 하는 노이즈를 도입한다.
• 노이즈 적용은 추론 시간에만 이루어지며, 사전 학습된 모델에 통합하기 위해 단 한 줄의 코드만 필요하다.
• 모델의 주요 동작 방식을 변화시키지 않는 최소한의 노이즈를 사용함으로써 정상 정확도와 계산 속도를 유지한다.

실험 결과

연구 질문

• RQ1 최소한의 입력 노이즈가 쿼리 기반 블랙박스 공격의 핵심 메커니즘을 효과적으로 방해할 수 있는가?
• RQ2 모델 응답에 무작위성을 도입하면 블랙박스 공격에서 기울기 추정과 국소 탐색의 가능성에 어떤 영향을 미치는가?
• RQ3 SND는 다양한 쿼리 기반 공격에 대응하면서도 정상 정확도와 추론 속도를 얼마나 잘 유지하는가?
• RQ4 SND는 사전 학습된 모델에 대해 실용적인 즉시 사용 가능한 방어 기반으로 기능할 수 있는가?

주요 결과

• SND는 CIFAR-10 및 ImageNet 데이터셋에서 8종의 최첨단 쿼리 기반 블랙박스 공격을 효과적으로 무력화한다.
• 원본 모델과 거의 동일한 정상 정확도를 유지하며, 성능 저하가 거의 없다.
• SND는 심각한 계산 오버헤드를 유발하지 않으며, 원래의 추론 속도를 그대로 유지한다.
• 방어 기법은 대부분의 쿼리 기반 공격가 기반으로 하는 결정론적 입력-출력 매핑의 가정을 깨뜨림으로써 작동한다.
• SND는 매우 실용적이며, 사전 학습된 모델에 적용하기 위해 단 한 줄의 코드만으로도 배치할 수 있다.
• SND는 기울기 추정과 국소 탐색에 의존하는 다양한 공격 전략에 대해 강력한 내공성을 보인다.