[논문 리뷰] With Friends Like These, Who Needs Adversaries?

Saumya Jetley, Nicholas A. Lord외 1명|arXiv (Cornell University)|2018. 07. 11.

Adversarial Robustness in Machine Learning인용 수 18

한 줄 요약

이 논문은 딥 컨volution 네트워크의 높은 정확도와 적대적 공격에 대한 취약성은 동일한 동전의 양면이라는 것을 드러낸다: 양자 모두 입력 이미지 공간 내 특정이고 매우 방향성 있는 특징에 의존하는 데서 기인한다. 핵심 발견은 정확하게 이미지를 분류하는 데 사용되는 동일한 방향이 적대적 공격의 주요 경로이기도 하다는 것이다. 이는 성능과 견고성 사이에 내재된 상충 관계를 보여준다.

ABSTRACT

The vulnerability of deep image classification networks to adversarial attack is now well known, but less well understood. Via a novel experimental analysis, we illustrate some facts about deep convolutional networks for image classification that shed new light on their behaviour and how it connects to the problem of adversaries. In short, the celebrated performance of these networks and their vulnerability to adversarial attack are simply two sides of the same coin: the input image-space directions along which the networks are most vulnerable to attack are the same directions which they use to achieve their classification performance in the first place. We develop this result in two main steps. The first uncovers the fact that classes tend to be associated with specific image-space directions. This is shown by an examination of the class-score outputs of nets as functions of 1D movements along these directions. This provides a novel perspective on the existence of universal adversarial perturbations. The second is a clear demonstration of the tight coupling between classification performance and vulnerability to adversarial attack within the spaces spanned by these directions. Thus, our analysis resolves the apparent contradiction between accuracy and vulnerability. It provides a new perspective on much of the prior art and reveals profound implications for efforts to construct neural nets that are both accurate and robust to adversarial attack.

연구 동기 및 목표

• 매우 높은 정확도를 보이는 딥 네트워크가 왜 적대적 공격에 매우 취약한지에 대한 역설을 해결하기 위해.
• 분류 성능을 담당하는 방향이 적대적 취약성의 주요 원인인지를 조사하기 위해.
• 예를 들어 다운샘플링을 통한 전처리 방식으로 인한 견고성 향상이 표면적인 것임을 보여주기 위해, 네트워크가 여전히 남아있는 효과적인 분류 방향을 따라 취약함을 입증하기 위해.
• 특징 공간의 방향, 분류 결정, 적대적 견고성 간의 기하학적 프레임워크를 제공하기 위해.

제안 방법

• 저자들은 평균 정규화된 이미지 데이터를 사용하여 특정 이미지 공간 방향을 따라 1차원의 편향을 적용했을 때의 분류 점수 출력을 분석한다.
• 활성화 기울기의 특이값 분해(SVD)를 통해 특정 클래스와 강하게 상관관계가 있는 방향성 성분(d_j)을 식별하고 시각화한다.
• DeepFool 알고리즘을 적용하여 적대적 편향을 생성하고, 다양한 네트워크 변형(예: 리샘플링 유닛 포함) 간의 전이 가능성 분석을 수행한다.
• 다운샘플링 전처리 유무에 따라 네트워크 간의 적대적 견고성을 비교하며, 편향 노름을 조정하여 전이 가능성 평가를 수행한다.
• 전처리 후에도 네트워크가 여전히 남아있는 효과적인 분류 방향에 국한된 공격에 취약함을 입증한다.
• 수정된 네트워크의 효과적인 적대적 부분공간을 재구성하기 위해 다운샘플된 편향에 대해 SVD를 수행하며, 견고성이 본질적으로 향상되지 않았음을 보여준다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 적대적 공격에 가장 취약한 방향이 정확한 분류에 사용되는 방향과 같은가?
• RQ2 예를 들어 다운샘플링과 같은 전처리가 적대적 견고성을 진정으로 향상시키는가, 아니면 취약성이 다른 방향으로 이동하기만 하는가?
• RQ3 원본 해상도 네트워크에서 생성한 적대적 공격이 리샘플링 유닛이 있는 수정된 네트워크로 효과적으로 전이될 수 있는가? 그리고 편향 노름을 조정하면 어떻게 영향을 받는가?
• RQ4 분류에 단순화된 방향성 반응을 사용하는 네트워크는 본질적으로 견고성을 희생시키는가?
• RQ5 입력 공간 내 특정 고민감도 방향에 의존함으로써 분류 정확도와 적대적 견고성 사이에 본질적인 상충 관계가 존재하는가?

주요 결과

• 특정 이미지 공간 방향(d_j)을 따라 편향가해진 경우, 딥 네트워크의 분류 점수 출력은 종종 큰 범위에서 대략 대칭적이고 단조롭게 나타나, 단순한 방향성 결정 메커니즘이라는 것을 시사한다.
• 특정 클래스(예: 'frog')와 강하게 상관관계가 있는 방향 d_j 는 편향이 가해질 경우 오분류를 유도하는 원인이 되며, 이는 적대적 취약성과 분류 성능이 동일한 특징에서 기인함을 드러낸다.
• 다운샘플링 기반 전처리 유닛은 적대적 취약성을 감소시키지만 완전히 제거하지는 않으며, 네트워크가 여전히 효과적인 분류 방향을 따라 공격에 취약함을 보여준다.
• 원본 네트워크에서 생성한 적대적 편향은 ℓ₂-노름을 조정함으로써 수정된 네트워크로 효과적으로 전이되며, 전처리에도 불구하고 높은 오용률을 회복함을 보여준다.
• 다운샘플된 DeepFool 편향에 대한 SVD는 수정된 네트워크에서 전체 효과적인 분류 및 적대적 방향을 복원하며, 견고성이 본질적으로 향상되지 않았음을 입증한다.
• 특정 방향에 대한 반응 억제로 인한 견고성 향상은 정확도 감소를 수반하며, 이는 성능과 견고성 사이에 내재된 상충 관계를 확인한다.