[논문 리뷰] Shift Invariance Can Reduce Adversarial Robustness

Songwei Ge, Vasu Singla외 2명|arXiv (Cornell University)|2021. 03. 03.

Adversarial Robustness in Machine Learning참고 문헌 59인용 수 6

한 줄 요약

이 논문은 컨volution 신경망(CNN)에서 이동 불변성에 의해 분류 간 거리가 DC 성분에만 의존하게 되어, 이로 인해 적대적 편향이 크게 감소함을 보여준다. 이는 분류 간 마진을 축소시켜, 상당히 작은 적대적 편향을 유도한다. MNIST, 패션-MNIST, SVHN, CIFAR-10, ImageNet에서 이론적 분석과 실험을 통해, 완전 연결 또는 덜 이동 불변인 아키텍처에 비해 이동 불변성 네트워크가 실생활 환경에서도 상당히 낮은 적대적 내성성을 보임을 입증한다.

ABSTRACT

Shift invariance is a critical property of CNNs that improves performance on classification. However, we show that invariance to circular shifts can also lead to greater sensitivity to adversarial attacks. We first characterize the margin between classes when a shift-invariant linear classifier is used. We show that the margin can only depend on the DC component of the signals. Then, using results about infinitely wide networks, we show that in some simple cases, fully connected and shift-invariant neural networks produce linear decision boundaries. Using this, we prove that shift invariance in neural networks produces adversarial examples for the simple case of two classes, each consisting of a single image with a black or white dot on a gray background. This is more than a curiosity; we show empirically that with real datasets and realistic architectures, shift invariance reduces adversarial robustness. Finally, we describe initial experiments using synthetic data to probe the source of this connection.

연구 동기 및 목표

• CNN에서 이동 불변성이 적대적 취약성에 기여하는지 조사하기.
• 이동 불변성이 선형 분류기의 마진에 미치는 영향을 이론적으로 분석하기.
• 이동 불변성이 단순한 구조부터 실생활 신경망 아키텍처에 이르기까지 내성성을 감소시킨다는 것을 입증하기.
• 이동 불변성으로 인한 데이터 차원 증가와 마진 감소의 영향을 적대적 내성성에 분리하여 분석하기.
• 실제 딥러닝 모델에서 이동 불변성이 내성성 감소와 연결됨을 실증적 및 합성 데이터로 제시하기.

제안 방법

• 이동 불변 선형 분류기의 이론적 분석을 통해 입력 신호의 DC(상수) 성분의 차이에만 마진이 의존함을 보여준다.
• 신경접근핵(NTK) 및 컨볼루션 NTK(CNTK)를 사용하여, 무한한 너비의 근처에서 완전 연결망과 이동 불변 CNN이 선형 결정 경계를 생성함을 증명한다.
• MNIST, 패션-MNIST, SVHN, CIFAR-10, ImageNet에서 완전 연결망과 이동 불변 CNN을 비교하여, 적대적 내성성을 $L_2$ 거리로 측정함으로써 실증적 평가를 수행한다.
• 통제된 내재 차원과 마진을 가진 합성 데이터 실험을 통해 이동 불변성이 내성성에 미치는 영향을 분리한다.
• CNN에서 이동 불변성 정도를 체계적으로 변화시켜 적대적 내성성의 변화를 관찰한다.
• DDN 공격를 사용하여 적대적 예시를 생성하고, 모델을 속이기 위해 필요한 최소 $L_2$ 편향으로 내성성을 측정한다.

실험 결과

연구 질문

• RQ1 CNN에서 이동 불변성이 적대적 내성성을 감소시키는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ2 이동 불변성이 선형 분류기에서 클래스 간 마진에 어떤 영향을 미치는가?
• RQ3 이동 불변성으로 인해 마진이 감소함으로써 내성성이 떨어지는가?
• RQ4 이동 불변성으로 인한 효과적 데이터 차원 증가가 독립적으로 내성성을 감소시키는가?
• RQ5 ResNet이나 VGG와 같은 실생활 데이터셋과 아키텍처에서 AlexNet이나 트랜스포머보다 이동 불변성이 얼마나 내성성을 떨어뜨리는가?

주요 결과

• 이동 불변 선형 분류기의 경우, 마진은 신호의 DC 성분의 차이에만 의존하며, 입력 차원 $d$에 따라 $1/\sqrt{d}$ 비례로 감소한다.
• 회색 배경 위에 흰색 또는 검은색 점 하나가 있는 최소 두 클래스 예제에서, CNN의 적대적 내성성은 약 $1/\sqrt{d}$ 수준으로 감소하지만, 완전 연결망은 $L_2$ 거리가 약 1에 가까운 상태로 내성성을 유지한다.
• MNIST와 패션-MNIST에서 완전 연결망은 이동 불변 CNN보다 상당히 더 내성성이 높으며, 이동 불변성이 증가할수록 내성성이 감소한다.
• SVHN에서 완전 연결망은 ResNet을 능가하며, 이는 표준 아키텍처에서도 이동 불변성이 내성성을 감소시킴을 시사한다.
• CIFAR-10과 ImageNet에서 ResNet과 VGG(높은 수준의 이동 불변성)는 AlexNet, FCN, 트랜스포머 기반 모델보다 낮은 내성성을 보이며, 실생활 환경에서도 동일한 경향을 확인한다.
• 합성 실험 결과, 이동 불변성이 데이터 차원을 증가시키고 마진을 감소시킬 경우 내성성이 감소하지만, 마진을 유지할 경우 감소하지 않음을 확인하여, 마진 감소가 핵심 요인임을 시사한다.