[논문 리뷰] Generalizable Data-free Objective for Crafting Universal Adversarial Perturbations

Konda Reddy Mopuri, Aditya Ganeshan외 1명|arXiv (Cornell University)|2018. 01. 24.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 훈련 데이터에 접근할 필요 없이 다양한 비전 작업에서 딥 네URAL 네트워크를 속이는 데 성공하는 데이터 프리(data-free), 일반화 가능한 목적함수를 제안한다. 입력 특징에 대한 편향의 영향과 특징 표현에 대한 영향 간의 상관관계를 활용함으로써, 이미지 평균과 동적 범위와 같은 간단한 사전 지식만으로도 77.77%까지의 높은 속임성 성능(이미지넷 분류에서)을 달성한다.

ABSTRACT

Machine learning models are susceptible to adversarial perturbations: small changes to input that can cause large changes in output. It is also demonstrated that there exist input-agnostic perturbations, called universal adversarial perturbations, which can change the inference of target model on most of the data samples. However, existing methods to craft universal perturbations are (i) task specific, (ii) require samples from the training data distribution, and (iii) perform complex optimizations. Additionally, because of the data dependence, fooling ability of the crafted perturbations is proportional to the available training data. In this paper, we present a novel, generalizable and data-free approaches for crafting universal adversarial perturbations. Independent of the underlying task, our objective achieves fooling via corrupting the extracted features at multiple layers. Therefore, the proposed objective is generalizable to craft image-agnostic perturbations across multiple vision tasks such as object recognition, semantic segmentation, and depth estimation. In the practical setting of black-box attack scenario (when the attacker does not have access to the target model and it's training data), we show that our objective outperforms the data dependent objectives to fool the learned models. Further, via exploiting simple priors related to the data distribution, our objective remarkably boosts the fooling ability of the crafted perturbations. Significant fooling rates achieved by our objective emphasize that the current deep learning models are now at an increased risk, since our objective generalizes across multiple tasks without the requirement of training data for crafting the perturbations. To encourage reproducible research, we have released the codes for our proposed algorithm.

연구 동기 및 목표

• 훈련 데이터에 의존하는 기존의 유니버설 적대적 편향(UAP) 방법의 한계를 해결하고자 한다.
• 이미지 분류, 세분화, 깊이 추정과 같은 다양한 컴퓨터 비전 작업에서 효과적인 UAP를 생성할 수 있는 일반화 가능한 목적함수를 개발하고자 한다.
• 대상 모델의 훈련 데이터에 의존성을 제거하면서도 높은 속임성 성능를 유지함으로써 효과적인 블랙박스 공격을 가능하게 하고자 한다.
• 데이터 분포에 대한 최소한의 사전 지식(예: 평균, 동적 범위)이 실제 데이터 샘플 없이도 편향 강도를 향상시키는 데 얼마나 기여하는지 탐구하고자 한다.
• 국소 선형성 가정에 의존하지 않고 특징 수준의 상관관계를 활용함으로써, 모델과 작업 간의 일반화 성능을 입증하고자 한다.

제안 방법

• 훈련 데이터에 접근할 필요 없이, 편향에 의해 유도되는 특징 표현 변화의 L2 노름을 최대화하는 데이터 프리 목적함수를 제안한다. 즉, ||f(x+δ)−f(x)||₂.
• 네트워크의 국소 선형성에 의존하지 않고, ||f(x+δ)−f(x)||₂와 ||f(δ)||₂ 간의 강력한 상관관계를 활용한다. 여기서 f는 특징 추출기이다.
• 분류 레이어(fc₈)에서 활성화의 상대적 이동을 최대화하는 방식으로 편향을 제작하며, 이는 속임성 성능와 강하게 상관된다.
• 이미지 평균과 동적 범위와 같은 간단한 사전 지식을 활용하여, 실제 데이터 없이도 편향 강도를 향상시킨다.
• 동일한 편향을 사용하여 분류, 세분화, 깊이 추정 등 다양한 작업에 대해 동일한 목적함수를 적용함으로써, 작업 간 일반화 성능를 입증한다.
• 기울기 기반 최적화 기법을 사용하여 유니버설 편향을 반복적으로 개선함으로써, 눈에 띄지 않으면서도 높은 속임성 성능를 확보한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 없이도 다양한 비전 작업에서 일반화되는 유니버설 적대적 편향을 생성할 수 있는 데이터 프리 목적함수를 설계할 수 있는가?
• RQ2 훈련 데이터가 이용 불가인 블랙박스 공격 환경에서, 제안된 목적함수는 데이터 의존적 방법보다 어떻게 비교되는가?
• RQ3 데이터 분포에 대한 최소한의 사전 지식(예: 평균, 범위)이 데이터 프리 UAP의 속임성 능력을 얼마나 향상시킬 수 있는가?
• RQ4 국소 선형성 가정 없이도 ||f(x+δ)−f(x)||₂와 ||f(δ)||₂ 간의 상관관계가 효과적인 편향 제작을 이끌 수 있는가?
• RQ5 동일한 편향이 이미지 분류, 세분화, 깊이 추정과 같은 다양한 작업에서 다양한 모델을 성공적으로 속일 수 있는가?

주요 결과

• 제안된 데이터 프리 목적함수는 전체 데이터 사전 지식만을 사용하여 이미지넷 분류에서 77.77%의 속임성 성능를 달성하며, 블랙박스 환경에서 데이터 의존적 기준선보다 뚜렷한 성능 향상을 보였다.
• 실제 데이터 없이도 이 논문의 방법은 이미지넷 분류에서 45.47%의 속임성 성능를 달성하여, 훈련 데이터가 없는 환경에서도 뛰어난 성능를 입증했다.
• 이미지 평균과 동적 범위와 같은 단순한 사전 지식을 포함함으로써, 사전 지식 없이 45.47%에서 시작해 범위 사전 지식을 적용하면 63.08%로 상승하고, 전체 데이터 사전 지식을 사용하면 77.77%까지 상승한다.
• 분류 레이어(fc₈)에서의 특징 활성화의 상대적 이동은 실제 속임성 성능와 강하게 상관되며, 이는 본 방법의 설계 선택이 타당함을 검증한다.
• 이 방법은 작업 간 일반화 성능를 보였다: FCN-8s-VGG를 사용한 세분화 모델과 Monodepth-VGG를 사용한 깊이 추정 모델 모두 성공적으로 속였으며, 복잡한 시나리오에서는 실패 사례가 관찰되었다.
• ||f(x+δ)−f(x)||₂와 ||f(δ)||₂ 간의 상관관계는 강하고 안정적이며, 이는 본 방법이 국소 선형성에 의존하지 않고 특징 수준의 동역학을 효과적으로 활용하고 있음을 확인한다.