[논문 리뷰] Wolf in Sheep's Clothing - The Downscaling Attack Against Deep Learning Applications

Qixue Xiao, Kang Li외 2명|arXiv (Cornell University)|2017. 12. 21.

Adversarial Robustness in Machine Learning참고 문헌 9인용 수 8

한 줄 요약

이 논문은 딥러닝 응용 프로그램에서 공격자가 카모플라주된 데이터를 가진 입력 이미지를 조작하여 표준 이미지 리사이징 과정에서 변경되거나 버려지는 것을 악용하는 새로운 보안 위협인 다운스케일링 공격을 제안한다. 이는 인간의 인지와 모델 입력 간의 불일치를 초래한다. 이 공격은 Caffe, 텐서플로우, 토치와 같은 프레임워크의 기본 스케일링 함수를 악용하여 모델이 시각적으로 속이는 입력을 처리하도록 유도함으로써 악성 회피 및 데이터 오염 공격을 가능하게 한다.

ABSTRACT

This paper considers security risks buried in the data processing pipeline in common deep learning applications. Deep learning models usually assume a fixed scale for their training and input data. To allow deep learning applications to handle a wide range of input data, popular frameworks, such as Caffe, TensorFlow, and Torch, all provide data scaling functions to resize input to the dimensions used by deep learning models. Image scaling algorithms are intended to preserve the visual features of an image after scaling. However, common image scaling algorithms are not designed to handle human crafted images. Attackers can make the scaling outputs look dramatically different from the corresponding input images. This paper presents a downscaling attack that targets the data scaling process in deep learning applications. By carefully crafting input data that mismatches with the dimension used by deep learning models, attackers can create deceiving effects. A deep learning application effectively consumes data that are not the same as those presented to users. The visual inconsistency enables practical evasion and data poisoning attacks to deep learning applications. This paper presents proof-of-concept attack samples to popular deep-learning-based image classification applications. To address the downscaling attacks, the paper also suggests multiple potential mitigation strategies.

연구 동기 및 목표

• 딥러닝 응용 프로그램의 데이터 처리 파이프라인에서 이전에 간과된 보안 취약점을 드러내는 것.
• 딥러닝 프레임워크에서 흔히 사용되는 이미지 스케일링 함수가 어떻게 시각적 속임수를 만들 수 있는지 조사하는 것.
• 공격자가 리사이징 과정에서 버려지는 카모플라주된 데이터를 입력에 삽입하여 모델의 잘못된 분류를 유도할 수 있음을 입증하는 것.
• 실세계 딥러닝 이미지 분류 시스템에 대한 개념 증명 공격을 제시하는 것.
• 실제 구현 환경에서 이러한 공격을 방어하기 위한 대응 전략을 제안하는 것.

제안 방법

• 사람에게는 시각적으로 일관성이 있는 특정 공간 패턴을 가진 적대적 입력 이미지를 제작하여 리사이징 과정에서 극적으로 변형되는 것을 목표로 한다.
• 표준 딥러닝 프레임워크 함수(예: Caffe의 resize(), 텐서플로우의 tf.image.resize, 토치의 nn.SpatialAveragePool)를 사용하여 이미지를 고정된 모델 입력 치수로 재조정한다.
• 이질적인 종횡비(예: 224×672)를 가진 입력 이미지를 선택하여 비선형 보간법을 사용한 다운스케일링 중 최대한의 왜곡을 유도한다.
• 리사이징된 이미지에 대한 모델 예측을 평가하여 원래 입력의 인간 인지와 비교해 잘못된 분류가 발생하는지 확인한다.
• 다른 스케일링 알고리즘(예: 비큐빅)을 탐색하여 공격에 대한 내성과 취약성이 낮은 옵션을 식별한다.
• 원본 이미지와 리사이징된 이미지 간의 특징 변화(예: 색상 히스토그램 이동)를 측정하는 기반으로 탐지 메커니즘을 제안한다.

실험 결과

연구 질문

• RQ1 인기 있는 딥러닝 프레임워크의 이미지 스케일링 함수가 시각적 속임수를 만들 수 있는 정도는 어느 정도인가?
• RQ2 비선형 보간법과 같은 기본 스케일링 알고리즘(예: 이차보간)이 다운스케일링 과정에서 적대적으로 제작된 입력의 무결성에 어떤 영향을 미치는가?
• RQ3 스케일링 유도 시각적 불일치를 악용하여 공격자가 악성 회피 및 데이터 오염 공격을 성공적으로 수행할 수 있는가?
• RQ4 시각적으로 의심스럽지만 여전히 다운스케일링 공격을 효과적으로 유도할 수 있는 입력을 제작할 때의 실용적 트레이드오프는 무엇인가?
• RQ5 실세계 딥러닝 구현 환경에서 다운스케일링 공격를 탐지하거나 방지할 수 있는 효과적인 대응 전략은 무엇인가?

주요 결과

• Caffe, 텐서플로우, 토치의 기본 이미지 스케일링 함수는 사용자가 인지하지 못하는 방식으로 입력 내용을 변경하므로 다운스케일링 공격에 취약하다.
• 공격자는 인간에게는 한 종류의 이미지(예: 양)로 보이지만 리사이징 후에는 다른 종류의 이미지(예: 늑대)로 변형되어 모델이 잘못 분류하는 입력 이미지를 생성할 수 있다.
• 공격의 효과성은 스케일링 요소와 종횡비 불일치 비율에 비례하며, 이격도가 클수록 시각적 조작의 잠재력이 증가한다.
• 비큐빅 보간법은 이차보간법보다 더 견고하며 이러한 공격에 덜 취약하므로 알고리즘 선택이 위험 감소에 기여할 수 있다.
• 원본 이미지와 리사이징된 이미지 간의 시각적 특징(예: 색상 히스토그램)의 심각한 변화는 다운스케일링 공격 탐지의 지표로 사용될 수 있다.
• 기대되는 입력 치수 기반의 입력 필터링 및 검증은 공격을 완화할 수 있지만, 사용자 업로드 콘텐츠를 수락하는 모든 응용 프로그램 환경에서는 실현 가능하지 않다.