[논문 리뷰] Art of singular vectors and universal adversarial perturbations

Valentin Khrulkov, Ivan Oseledets|arXiv (Cornell University)|2017. 09. 11.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 15

한 줄 요약

이 논문은 깊이 신경망 특징 맵의 야코비안 행렬의 (p,q)-특이벡터를 계산하여 보편적 적대적 편향을 생성하는 새로운 방법인 SingularFool을 제안한다. 단지 64장의 이미지를 사용하여 ImageNet에서 60%의 기만률을 달성하며, 이는 기존 방법이 수천 장의 이미지가 필요로 하는 것에 비해 유의미하게 뛰어나며, 모델 간 일반화 능력과 시각적 패턴 일관성이 뛰어나다.

ABSTRACT

Vulnerability of Deep Neural Networks (DNNs) to adversarial attacks has been attracting a lot of attention in recent studies. It has been shown that for many state of the art DNNs performing image classification there exist universal adversarial perturbations --- image-agnostic perturbations mere addition of which to natural images with high probability leads to their misclassification. In this work we propose a new algorithm for constructing such universal perturbations. Our approach is based on computing the so-called $(p, q)$-singular vectors of the Jacobian matrices of hidden layers of a network. Resulting perturbations present interesting visual patterns, and by using only 64 images we were able to construct universal perturbations with more than 60 \% fooling rate on the dataset consisting of 50000 images. We also investigate a correlation between the maximal singular value of the Jacobian matrix and the fooling rate of the corresponding singular vector, and show that the constructed perturbations generalize across networks.

연구 동기 및 목표

• 기존 방법에 비해 훈련 이미지 수를 줄일 수 있는 보다 효율적인 보편적 적대적 편향 생성 방법을 개발하는 것.
• 야코비안의 최대 (p,q)-특이값과 생성된 편향의 기만률 간의 관계를 조사하는 것.
• 생성된 편향의 다양한 딥 뉴럴 네트워크 아키텍처 간 일반화 능력을 평가하는 것.
• (p,q)-특이벡터 기반 편향의 시각적 패턴과 구조적 특성을 분석하는 것.
• (p,q)-특이값을 모델의 강건성 정량적 측정치로 활용하고 학습 시 정규화 기법 후보로 고려할 수 있는지 탐색하는 것.

제안 방법

• 일반화된 거듭제곱 방법을 사용하여 임의의 p-노름에 적합하게 수정된 방법을 통해 은닉층 특징 맵의 야코비안 행렬의 (p,q)-특이벡터를 계산한다.
• 적대적 편향 생성을 최적화 문제로 공식화한다: ||J_i(x)ε||_q를 최대화하고 ||ε||_p = 1 조건을 만족시킨다. 여기서 J_i(x)는 i번째 레이어의 야코비안이다.
• 이 문제의 해는 (p,q)-특이벡터를 제공하며, 이는 원하는 편향 노름 L로 스케일 조정된다.
• 알고리즘은 작은 배치 크기(예: 32)를 사용하고, 단일 레이어(예: VGG-19의 block2_pool)의 야코비안에 대해 거듭제곱 방법을 반복적으로 적용하여 편향을 업데이트한다.
• 최적화 문제의 동차성 특성을 활용하여 재계산 없이도 편향을 임의의 노름으로 스케일 조정할 수 있다.
• TensorFlow와 NumPy를 사용하여 구현되었으며, 각 레이어당 기호적 야코비안 행렬-벡터 곱을 한 번만 계산한다.

실험 결과

연구 질문

• RQ1 (p,q)-특이벡터를 사용하여 최소한의 데이터로 높은 기만률을 달성하는 보편적 적대적 편향을 효율적으로 생성할 수 있는가?
• RQ2 야코비안의 최대 (p,q)-특이값과 생성된 편향의 기만률 간 상관관계는 어떠한가?
• RQ3 이 방법으로 생성된 편향은 다양한 딥 뉴럴 네트워크 아키텍처 간에 얼마나 잘 일반화되는가?
• RQ4 훈련 시 사용된 이미지 수가 보편적 편향의 수렴과 성능에 미치는 영향은 어떠한가?
• RQ5 생성된 편향은 일관된 시각적 패턴을 보이며, 다양한 데이터셋과 모델 간에 보편적이라 할 수 있는가?

주요 결과

• 제안된 SingularFool 방법은 단지 64장의 이미지를 사용하여 ImageNet에서 60% 이상의 기만률을 달성하며, 이는 UAP 방법이 수천 장의 이미지가 필요로 하는 것에 비해 유의미하게 뛰어나다.
• 기본적으로 기각률은 훈련 이미지 수가 증가함에 따라 매우 빠르게 안정화되며, 단지 64장의 이미지로도 약 63%의 기각률을 달성한다. 반면 UAP 방법은 약 3000장의 이미지가 필요로 60%의 기각률에 도달한다.
• 단일 GPU(Tesla K80)에서 32배치 크기와 30회의 반복을 사용할 경우, 이 방법은 약 1분 내로 실행되며, 더 큰 배치 크기를 사용하는 UAP에 비해 약 10분이 소요된다.
• 야코비안의 최대 (p,q)-특이값은 기각률과 강한 정적 상관관계를 보이며, 이는 정량적 강건성 지표로 활용될 수 있음을 시사한다.
• 생성된 편향은 일관된 시각적 패턴을 보이며, VGG-19, ResNet, Inception과 같은 다양한 DNN 아키텍처 간에 효과적으로 일반화된다.
• 이 방법은 강력한 일반화 능력을 보이며, 한 네트워크에서 훈련된 편향가 다른 사전 훈련된 모델에서 높은 기각률을 달성함으로써 보편성의 성립을 확인한다.