[논문 리뷰] Adversarial Manipulation of Deep Representations

Sara Sabour, Yanshuai Cao외 2명|arXiv (Cornell University)|2015. 11. 16.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 67

한 줄 요약

이 논문은 '특징 적대적 예제'(feature adversaries)를 소개한다. 이는 원본 이미지와 시각적으로 유사하지만, 다른 타겟 가이드 이미지의 딥 네ural 네트워크(DNN) 표현과 거의 동일한 표현을 가지는 적대적 이미지이다. 중간 DNN 레이어에서 표현 거리(representation distance)를 최소화하면서 시각적 왜곡을 제한하기 위해 기울기 기반 최적화를 사용함으로써, 자연스러운 내부 특징을 가진 적대적 이미지를 생성한다. 이는 분류 오류를 넘어서 DNN 표현에 대한 근본적인 취약성을 드러낸다.

ABSTRACT

We show that the representation of an image in a deep neural network (DNN) can be manipulated to mimic those of other natural images, with only minor, imperceptible perturbations to the original image. Previous methods for generating adversarial images focused on image perturbations designed to produce erroneous class labels, while we concentrate on the internal layers of DNN representations. In this way our new class of adversarial images differs qualitatively from others. While the adversary is perceptually similar to one image, its internal representation appears remarkably similar to a different image, one from a different class, bearing little if any apparent similarity to the input; they appear generic and consistent with the space of natural images. This phenomenon raises questions about DNN representations, as well as the properties of natural images themselves.

연구 동기 및 목표

• 딥 네ural 네트워크(DNN) 표현을 원본 이미지와 시각적으로 유사한 상태를 유지하면서 다른 자연 이미지의 표현을 모방하도록 조작할 수 있는지 조사하기 위해.
• 이러한 적대적 이미지가 여러 DNN 레이어에 걸쳐 자연 이미지 표현과 구분되지 않는 정도로 일반적이고 일반적인지 탐색하기 위해.
• 이 현상이 네트워크 아키텍처, 훈련 데이터, 또는 본질적인 모델 특성에서 기인하는지 규명하기 위해.
• 이전 연구에서 분류 오류에만 초점을 맞춘 것과 대비하여, 이 새로운 종류의 적대적 예제를 분석하기 위해.
• 모델의 선형성과 일반화가 이러한 표현 수준 조작을 가능하게 하는 데 어떤 역할을 하는지 평가하기 위해.

제안 방법

• 적대적 이미지 생성을 제약 조건이 있는 최적화 문제로 설정: 선택된 레이어에서 변형된 이미지의 DNN 표현과 가이드 이미지의 표현 간 L2 거리(ℓ2 distance)를 최소화하기 위해.
• 픽셀 수준의 변형에 대해 L∞ 노름 제약 조건(‖I − Is‖∞ < δ)을 적용하여 인간 관찰자에게 눈에 띄지 않도록 보장하기 위해.
• 기울기 기반 최적화를 사용하여 제약 조건이 있는 최소화 문제를 해결하고, 반복적으로 이미지를 업데이트하여 가이드 표현과의 표현 거리를 줄이기 위해.
• 대부분의 표현 이동이 선형임을 시험하기 위해 DNN 레이어의 야코비안을 사용하는 선형 근사 기반(기본 모델: feature-linear)을 도입하기 위해.
• CaffeNet 모델을 훈련시킨 후에 이 방법을 평가하고, 무작위 초기화된 네트워크와 비교하여 아키텍처의 영향을 분리하기 위해.
• 특징 공간 내에서 적대적 표현의 희소성과 밀도를 분석하여 그 자연스러움과 일반성을 평가하기 위해.

실험 결과

연구 질문

• RQ1 딥 네룰 네트워크(DNN) 표현을 원본 이미지와 시각적으로 유사한 상태를 유지하면서 다른 자연 이미지의 표현을 모방하도록 조작할 수 있는가?
• RQ2 결과적으로 생성된 적대적 이미지가 여러 레이어에 걸쳐 자연 이미지 표현과 구분되지 않는가?
• RQ3 이러한 특징 적대적 예제의 존재는 훈련 데이터에 의존하는가, 아니면 네트워크 아키텍처 자체에 기인하는가?
• RQ4 DNN 표현의 선형성이 이러한 적대적 조작의 성공을 설명하는 데 어느 정도 기여하는가?
• RQ5 DNN 특징 공간 내에서 적대적 표현은 자연 이미지 표현과 분포와 밀도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 원본 이미지와 시각적으로 유사한 이미지를 성공적으로 생성했으며, C2 레이어 이상에서 가이드 이미지 표현과의 거리가 50% 이하로 줄어들었다.
• 특징 적대적 예제는 선형 근사 기반(기본 모델: feature-linear)보다 훨씬 낮은 표현 거리를 달성했고, feature-linear은 원본 소스-가이드 거리의 80% 이하로 거리를 줄이지 못했다.
• 훈련되지 않은 무작위 초기화된 네트워크를 사용한 실험에서도 유사한 거리 비율을 기록했으며, 이는 현상이 네트워크 아키텍처에 뿌리를 두고 있으며 학습된 가중치에 의존하지 않는다는 것을 시사한다.
• 적대적 표현은 이질적인 점이 아니며, DNN 특징 공간의 고밀도 영역에 위치해 있어 표현 공간에서 일반적이고 자연스러운 특징을 가짐을 나타낸다.
• 모든 레이어에서 feature-opt 방법이 feature-linear을 능가했으며, 이는 DNN의 비선형성이 강력한 표현 모방을 가능하게 한다는 것을 시사한다.
• 손글씨 숫자나 좁은 도메인 데이터셋에 대해 미세조정된 네트워크에서는 실패 케이스가 관찰되어 입력 도메인, 네트워크 깊이, 수용장역 크기 등에 민감함을 보였다.