[논문 리뷰] A Rotation and a Translation Suffice: Fooling CNNs with Simple Transformations

Logan Engstrom, Brandon Tran외 3명|arXiv (Cornell University)|2017. 12. 07.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 273

한 줄 요약

이 논문은 단순한 기하학적 변환—회전과 이동—만으로도 다양한 데이터셋에서 컨볼루션 신경망(CNN) 시각 모델의 성능을 상당히 떨어뜨릴 수 있음을 입증한다. 이는 데이터 증강을 통해 훈련된 모델일지라도 마찬가지다. 핵심 발견은 이러한 자연스러운 보기에 보이는 변환이 기울기 기반의 적대적 공격이나 모델 접근 권한 없이도 모델을 속이는데 매우 효과적이라는 점으로, 현재의 시각 모델에 내재된 근본적인 취약성을 드러낸다.

ABSTRACT

Recent work has shown that neural network-based vision classifiers exhibit a significant vulnerability to misclassifications caused by imperceptible but adversarial perturbations of their inputs. These perturbations, however, are purely pixel-wise and built out of loss function gradients of either the attacked model or its surrogate. As a result, they tend to be contrived and look pretty artificial. This might suggest that such vulnerability to slight input perturbations can only arise in a truly adversarial setting and thus is unlikely to be an issue in more natural contexts. In this paper, we provide evidence that such belief might be incorrect. We demonstrate that significantly simpler, and more likely to occur naturally, transformations of the input - namely, rotations and translations alone, suffice to significantly degrade the classification performance of neural network-based vision models across a spectrum of datasets. This remains to be the case even when these models are trained using appropriate data augmentation. Finding such fooling transformations does not require having any special access to the model - just trying out a small number of random rotation and translation combinations already has a significant effect. These findings suggest that our current neural network-based vision models might not be as reliable as we tend to assume. Finally, we consider a new class of perturbations that combines rotations and translations with the standard pixel-wise attacks. We observe that these two types of input transformations are, in a sense, orthogonal to each other. Their effect on the performance of the model seems to be additive, while robustness to one type does not seem to affect the robustness to the other type. This suggests that this combined class of transformations is a more complete notion of similarity in the context of adversarial robustness of vision models.

연구 동기 및 목표

• 간단한 기하학적 변환, 예를 들어 회전과 이동이 적대적 로버스트성 실패를 모방하는 방식으로 딥 CNN의 성능을 떨어뜨릴 수 있는지 조사하기.
• 특정 적대적 훈련 없이도 이러한 변환이 효과가 있는지 평가하기.
• 기본적인 데이터 증강으로 훈련된 모델이 이러한 자연스러운 보기에 보이는 변환에 얼마나 견딜 수 있는지 로버스트성 평가하기.
• 기하학적 변환과 전통적인 픽셀 수준의 적대적 공격 간의 관계 탐색하기.
• 기하학적 변환과 픽셀 수준의 편향을 조합했을 때 성능 저하 효과가 덧셈적인지 또는 상호보완적인지 판단하기.

제안 방법

• 저자는 CIFAR-10, SVHN, ImageNet 등 여러 벤치마크 데이터셋의 입력 이미지에 랜덤 조합의 회전과 이동을 적용한다.
• 다양한 사전 훈련된 CNN 모델, 예를 들어 ResNet과 DenseNet의 분류 정확도에 이러한 변환이 미치는 영향을 평가한다.
• 이 방법은 추론 이외의 모델 접근 권한이 필요하지 않으며, 기울기나 서rogate 모델을 사용하지 않고 입력에 직접 변환을 적용한다.
• 기하학적 변환에 의한 성능 저하를 표준 FGSM 스타일의 적대적 공격과 비교한다.
• 기하학적 변환과 표준 픽셀 수준의 적대적 공격을 조합하여 모델의 로버스트성에 미치는 영향을 평가한다.
• 기하학적 변환과 픽셀 수준의 편향 간의 직교성을 분석하기 위해 각각의 영향과 병합된 영향을 모델 정확도에 대해 측정한다.

실험 결과

연구 질문

• RQ1 간단한 기하학적 변환, 예를 들어 회전과 이동이 표준 시각 벤치마크에서 딥 CNN의 성능을 떨어뜨릴 수 있는가?
• RQ2 기본적인 데이터 증강으로 훈련된 모델일지라도 이러한 변환이 효과를 발휘하는가?
• RQ3 기하학적 변환에 대한 로버스트성과 표준 픽셀 수준의 적대적 공격에 대한 로버스트성 간에 상관관계가 있는가?
• RQ4 기하학적 변환과 픽셀 수준의 편향이 모델 실패에 대해 덧셈적 효과인지, 상호보완적 효과인지인가?
• RQ5 기울기 기반 최적화나 모델 접근 권한 없이도 이러한 변환이 모델을 속이는데 사용될 수 있는가?

주요 결과

• 회전과 이동만으로도 사전 훈련된 CNN의 정확도가 CIFAR-10 및 유사 데이터셋에서 최대 40%까지 떨어질 수 있으며, 이는 기본 데이터 증강으로 훈련된 모델일지라도 마찬가지다.
• 기하학적 변환에 의한 성능 저하는 기울기 기반의 표준 FGSM 적대적 공격에 의한 성능 저하와 정량적으로 유사한 수준이지만, 시각적으로 자연스럽고 픽셀 수준의 변형이 아니라는 점에서 놀랍다.
• 랜덤으로 조합된 회전과 이동을 적용하는 방법은 최소한의 계산 비용으로 높은 오분류율을 달성하며, 모델 접근 권한이 필요하지 않다.
• 기하학적 변환에 대한 로버스트성과 표준 픽셀 수준의 적대적 공격에 대한 로버스트성 간에 상관관계가 없으며, 이는 서로 직교하는 유형의 편향임을 시사한다.
• 기하학적 변환과 픽셀 수준의 공격을 조합하면 덧셈적 성능 저하 효과가 나타나, 두 유형의 편향을 함께 고려해야 로버스트성 평가가 보다 정확해질 수 있음을 시사한다.
• 결과적으로 현재의 시각 모델은 자연스럽게 보이는 입력 변환에 취약하며, 이는 실제 환경에서의 신뢰성에 대한 기존의 가정을 도전한다.