[논문 리뷰] A Method for Computing Class-wise Universal Adversarial Perturbations

Tejus Gupta, Abhishek Sinha외 3명|arXiv (Cornell University)|2019. 12. 01.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 5

한 줄 요약

이 논문은 딥 네URAL 네트워크의 결정 경계가 선형적이라는 점을 활용하여, 반복 최적화나 하이퍼파ram터가 필요 없는 데이터 프리, 폐형 해법을 제안한다. 이 방법은 네트워크 가중치의 선형 함수로 편향을 계산하여 ImageNet 모델에서 34–51%의 오염률을 달성하며, 다양한 아키텍처 간 강력한 전이성(transferability)을 보인다.

ABSTRACT

We present an algorithm for computing class-specific universal adversarial perturbations for deep neural networks. Such perturbations can induce misclassification in a large fraction of images of a specific class. Unlike previous methods that use iterative optimization for computing a universal perturbation, the proposed method employs a perturbation that is a linear function of weights of the neural network and hence can be computed much faster. The method does not require any training data and has no hyper-parameters. The attack obtains 34% to 51% fooling rate on state-of-the-art deep neural networks on ImageNet and transfers across models. We also study the characteristics of the decision boundaries learned by standard and adversarially trained models to understand the universal adversarial perturbations.

연구 동기 및 목표

• 반복 최적화 없이 학습 데이터에 의존하지 않는 빠르고 데이터 독립적인 클래스별 유니버설 적대적 편향 생성 방법을 개발하는 것.
• 딥 네URAL 네트워크의 결정 경계가 선형인 성질을 탐구하고, 이를 효율적인 공격 생성에 활용하는 것.
• 제안된 편향의 전이성과 강건성(robustness)을 다양한 모델과 데이터셋 간 평가하는 것.
• 일부 ImageNet 클래스가 왜 다른 클래스보다 유니버설 편향에 더 취약한지 이해하는 것.

제안 방법

• 제안된 방법은 훈련된 신경망의 최종 완전 연결 층 가중치에 대한 선형 함수로 유니버설 편향을 계산하여, 폐형 해법을 통해 반복 최적화 없이 계산한다.
• 목표 클래스에 해당하는 가중치 행렬의 부호(sign)를 사용하여 편향을 생성함으로써 최소한의 계산 비용을 확보한다.
• 학습 데이터나 하이퍼파ram터에 접근할 필요가 없어, 블랙박스 환경에서도 매우 효율적이고 쉽게 구현할 수 있다.
• 편향은 딥 네트워크의 결정 경계가 특히 클래스별 가중치 벡터 방향에서 약간의 선형성을 띤다는 가정에 기반한다.
• 다양한 데이터셋과 모델에서 목표 클래스의 정상 이미지에 대한 오염률을 통해 편향의 효과를 평가한다.
• 코사인 유사도와 특이값 분해(Singular Value Decomposition)를 사용하여 예시 기반 적대적 편향과 유니버설 편향 간의 정렬도를 분석한다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 결정 경계 선형성에 기반해 반복 최적화나 학습 데이터 없이 유니버설 적대적 편향을 생성할 수 있는가?
• RQ2 제안된 선형 가중치 기반 방법은 기존의 반복 최적화 기반 접근법에 비해 오염률과 전이성에서 어떻게 비교되는가?
• RQ3 기본 모델과 적대적 훈련된 모델의 결정 경계에서 선형성의 정도는 어느 정도이며, 이는 유니버설 편향의 효과성에 어떤 영향을 미치는가?
• RQ4 일부 ImageNet 클래스가 왜 유니버설 편향에 더 높거나 낮은 오염률을 보이는가? 이 취약성은 다양한 모델 간 일관된가?
• RQ5 예시 기반 적대적 편향의 방향과 제안된 유니버설 편향 간의 유사도는 얼마나 높은가? 이는 공통된 취약 방향을 시사하는가?

주요 결과

• 제안된 방법은 최신 ImageNet 모델에서 학습 데이터나 하이퍼파ram터 없이도 34%에서 51%의 오염률을 달성한다.
• 공격는 강력한 모델 간 전이성(transferability)을 보이며, VGG-16과 ResNet-18 간 모든 ImageNet 클래스에서 평균 오차가 10.96% 이하로 낮다.
• 예시 기반 적대적 편향의 방향과 제안된 유니버설 편향 간 코사인 유사도가 높아, 공통된 취약 방향을 시사한다.
• 기본 모델의 81개의 쌍별 결정 경계 중 38개가 결정 계수(R²) ≥ 0.9를 기록하여, 결정 경계가 주로 선형인 것으로 확인된다.
• 적대적 훈련된 모델은 모든 쌍별 경계에서 R² 값이 거의 0에 수렴하여, 선형성이 적대적 훈련에서 붕괴됨을 시사한다.
• 일부 ImageNet 클래스는 본질적으로 더 취약하다. 77개 클래스는 오염률이 20% 이하였고, 37개 클래스는 80% 이상이었다. 이는 다양한 아키텍처 간 일관되게 나타났다.