[논문 리뷰] Transferable Perturbations of Deep Feature Distributions

Nathan Inkawhich, Kevin J Liang외 2명|arXiv (Cornell University)|2020. 04. 27.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 20

한 줄 요약

이 논문은 백박스 대상 공격에서 높은 전이성과 해석 가능성을 동시에 확보하기 위해 화이트박스 서rogate 모델로부터 학습된 클래스별 및 레이어별 깊이 신경망 특징 분포를 활용하는 새로운 공격 기법인 특징 분포 공격(FDA)을 제안한다. 출력층 기울기 의존성 없이 중간 특징 분포의 이탈을 최적화함으로써, 보호되지 않은 ImageNet 모델에서 최신 기술 수준의 전이 성공률를 달성하며, 특징 공간의 변화와 전이성 메커니즘을 해석 가능하게 한다.

ABSTRACT

Almost all current adversarial attacks of CNN classifiers rely on information derived from the output layer of the network. This work presents a new adversarial attack based on the modeling and exploitation of class-wise and layer-wise deep feature distributions. We achieve state-of-the-art targeted blackbox transfer-based attack results for undefended ImageNet models. Further, we place a priority on explainability and interpretability of the attacking process. Our methodology affords an analysis of how adversarial attacks change the intermediate feature distributions of CNNs, as well as a measure of layer-wise and class-wise feature distributional separability/entanglement. We also conceptualize a transition from task/data-specific to model-specific features within a CNN architecture that directly impacts the transferability of adversarial examples.

연구 동기 및 목표

• 보호되지 않은 ImageNet 분류기에서 기존 방법을 능가하는 블랙박스 전이 기반 대상 공격을 개발하는 것.
• 딥 네ural 네트워크의 중간 특징 분포 변화 방식을 분석함으로써 공격의 해석 가능성을 향상시키는 것.
• 특징 분포의 분리 가능성, 레이어 깊이, 그리고 공격 전이 가능성 간의 관계를 탐구하는 것.
• 클래스 특이성과 최종 모델 출력과의 낮은 상관관계를 동시에 확보할 수 있는 최적의 레이어를 특정하는 것.
• CNN 아키텍처 내에서 작업/데이터 특이적 특징에서 모델 특이적 특징으로의 전이 과정을 개념화하고, 이 전이가 전이 가능성에 미치는 영향을 분석하는 것.

제안 방법

• 레이어 $ l $의 특징이 클래스 $ c $에 속할 확률 $ p(y=c|f_l(x)) $ 를 추정하기 위해 보조 이진 신경망 $ g_{l,c} $ 를 훈련한다.
• 이러한 학습된 분포를 활용해 서rogate 모델의 특징 공간에서 목표 클래스의 신뢰도를 극대화함으로써 대상 공격 예제를 생성한다.
• 공격 예제 생성 과정에서 모멘텀 기반 최적화를 적용하여 수렴 성능 향상과 서rogate 아키텍처에 대한 과적합을 줄인다.
• 다른 클래스와의 간격 및 같은 클래스 내 거리의 기반으로 특징 분포의 분리 가능성을 측정한다. 이는 목표 클래스 또는 소스 클래스 분포의 고신뢰 영역에 도달하기까지 필요한 작은 단계 수로 정의된다.
• 보조 모델의 시각화 지도를 분석하여 다양한 레이어 깊이에서 클래스 예측에 가장 영향을 미치는 이미지 영역을 시각화한다.
• 중간 특징 분포와 최종 모델 출력 간의 상관관계 분석을 통해 결정 경계에 과도하게 연결되지 않은 정보성 있는 레이어를 식별한다.

실험 결과

연구 질문

• RQ1 중간 특징 분포를 교란시키는 것이 블랙박스 모델로의 공격 예제 전이 가능성에 어떤 영향을 미치는가?
• RQ2 CNN의 어느 레이어에서 특징 분포가 가장 높은 전이성을 갖는 공격 예제 생성에 유리한가?
• RQ3 특징 분포의 분리 가능성과 얽힘 정도가 다양한 아키텍처 간 전이 성공률와 얼마나 관련이 있는가?
• RQ4 작업/데이터 특이적 특징에서 모델 특이적 특징으로의 전이가 공격 전이 가능성에 어떤 영향을 미치는가?
• RQ5 특징 분포 모델링이 딥 네트워크 내부 표현이 어떻게 변화하는지를 이해하는 데 있어 해석 가능한 통찰을 제공할 수 있는가?

주요 결과

• FDA는 출력층 기울기 의존성 대신 중간 특징 분포를 활용함으로써 보호되지 않은 ImageNet 모델에서 최신 기술 수준의 대상 블랙박스 전이 공격 성공률를 달성한다.
• 가장 높은 전이성을 보이는 공격 편향은 클래스 간 특징 분포가 뚜렷이 분리되어 있으나 최종 모델 출력과 과도하게 관련되지 않은 레이어에서 생성된다.
• VGG19는 DenseNet121와 ResNet50에 비해 특징 분리 가능성 수준이 현저히 낮으며, 이는 공격 실험에서 열등한 전이 성능과 상관관계가 있다.
• 시각화 분석 결과, 높은 성능을 보이는 전이 레이어에서는 전반적인 시각화에서 局부적 시각화로의 전이가 관찰되며, 이는 이러한 레이어가 분류에 유용한 일반화된 특징을 캐릭터라이즈하고 있음을 시사한다.
• 높은 전이성을 갖는 공격는 블랙박스 모델의 중간 특징 공간에서 큰 교란을 유도하며, 이는 특징 수준의 변화가 성공적인 전이의 핵심 요소임을 확인한다.
• 연구는 특징 표현의 중요한 전이점—작업 특이적 특징에서 모델 특이적 특징으로의 전이—를 특정하였으며, 이는 강건성 설계를 위한 아키텍처 설계에 통찰을 제공한다.