[논문 리뷰] The Space of Transferable Adversarial Examples

Florian Tramèr, Nicolas Papernot외 3명|arXiv (Cornell University)|2017. 04. 11.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 435

한 줄 요약

본 논문은 적대적 부분공간의 차원을 추정하고, 전달 가능한 적대적 예제가 모델 간에 고차원이고 겹치는 공간을 차지하며 경계가 다양한 아키텍처에서도 가깝다는 것을 보인다.

ABSTRACT

Adversarial examples are maliciously perturbed inputs designed to mislead machine learning (ML) models at test-time. They often transfer: the same adversarial example fools more than one model. In this work, we propose novel methods for estimating the previously unknown dimensionality of the space of adversarial inputs. We find that adversarial examples span a contiguous subspace of large (~25) dimensionality. Adversarial subspaces with higher dimensionality are more likely to intersect. We find that for two different models, a significant fraction of their subspaces is shared, thus enabling transferability. In the first quantitative analysis of the similarity of different models' decision boundaries, we show that these boundaries are actually close in arbitrary directions, whether adversarial or benign. We conclude by formally studying the limits of transferability. We derive (1) sufficient conditions on the data distribution that imply transferability for simple model classes and (2) examples of scenarios in which transfer does not occur. These findings indicate that it may be possible to design defenses against transfer-based attacks, even for models that are vulnerable to direct attacks.

연구 동기 및 목표

• 적대적 부분공간의 차원과 모듈 간 전이 가능성을 정량화한다.
• 적대적 방향과 정상 방향에서 서로 다른 모델의 결정 경계가 얼마나 가까운지 평가한다.
• 전이 가능성이 발생하거나 실패하는 조건을 조사하고, 적대적 학습 등 방어 기법의 영향을 분석한다.

제안 방법

• 다중 직교적 적대적 방향을 찾기 위해 Gradient Aligned Adversarial Subspace (GAAS)를 도입한다.
• 주어진 노름 한계 내에서 직교 섭동을 생성하고 개수를 세하기 위해 1차 손실 근사를 사용한다.
• MNIST 및 DREBIN 데이터셋에서 소스 모델과 대상 모델에 대한 섭동을 테스트하여 전이 가능성을 측정한다.
• 합법적, 적대적 및 무작위 방향에서 경계 간 거리와 최소 거리를 분석하여 모델 경계를 비교한다.
• 클래스 평균 차이를 기반으로 한 모델에 의존하지 않는 섭동을 검토하고 전이 가능성에 대한 이론적 조건을 제시한다.

실험 결과

연구 질문

• RQ1 뉴럴 네트워크 및 기타 모델을 속이는 적대적 부분공간의 실효 차원은 무엇인가?
• RQ2 특히 적대적 방향에서 서로 다른 모델의 결정 경계가 얼마나 비슷하며, 이것이 전이 가능성과 어떤 관련이 있는가?
• RQ3 어떤 데이터 분포 및 모델 클래스에서 전이 가능성이 보장되거나 실패할 수 있으며, 전이 가능성의 충분 조건은 무엇인가?
• RQ4 적대적 학습과 같은 방어책이 결정 경계의 근접성 및 블랙박스 공격의 실용성에 어떤 영향을 미치는가?

주요 결과

• 적대적 예제는 연속적이며 다차원 부분공간을 차지한다; 예를 들어 MNIST의 두 개의 완전 연결 네트워크는 대상 모델로 약 24.87개의 방향이 전달되는 25차원 전이 가능 부분공간을 산출한다.
• 확장된 부분공간 내에서 무작위로 샘플링하면 소스 모델을 99%의 사례에서, 대상 모델을 89%의 사례에서 오분류한다(MNIST CNNs/FCs에 대해); 전이 비율은 모델 쌍에 따라 다르다(예: MNIST의 CNN에서 68%).
• 다른 모델의 결정 경계는 적대적 방향과 정상 방향 모두에서 매우 가깝게 위치하여 모델 클래스 간 경계 유사성이 높음을 시사한다.
• 적대적 학습은 경계 간 거리를 증가시키지만 전이를 완전히 방지하지는 못한다; 이전에 전달된 섭동은 여전히 소스 경계를 넘어 방어된 모델을 속일 수 있다.
• 클래스 평균 차이에 기초한 모델에 의존하지 않는 섭동은 특정 정렬 조건하에서 선형 및 이차 모델로 전달될 수 있으며, 이러한 정렬 및 특징 매핑이 보전되지 않을 때 전달이 실패할 수 있다(XOR 아티팩트 예시).
• 본 논문은 간단한 모델 클래스에서 전이 가능성에 대한 충분 조건을 제공하고, 전이가 성립하지 않는 반례도 제시하여 모든 설정에 보편적이지 않음을 보여준다.