[논문 리뷰] Identifying Classes Susceptible to Adversarial Attacks

Rangeet Pan, Johirul Islam외 2명|arXiv (Cornell University)|2019. 05. 30.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 7

한 줄 요약

이 논문은 고차원 특징 공간 기하학을 분석하여 적대적 공격에 가장 취약한 상위 $k$개 클래스를 거리 기반 방법으로 식별하는 방법을 제안한다. 근접 이웃 점프 거리와 새로운 '금지 거리' 경계를 사용하여 적대적 지도를 구성함으로써, 잘못 분류될 가능성이 높은 클래스를 예측하며, $k=4$일 때 CIFAR-10/ResNet-32에서 99.9%의 정확도를 달성하여 추가 계산 없이도 CE 및 RCE 학습 기반 방어 기법을 능가한다.

ABSTRACT

Despite numerous attempts to defend deep learning based image classifiers, they remain susceptible to the adversarial attacks. This paper proposes a technique to identify susceptible classes, those classes that are more easily subverted. To identify the susceptible classes we use distance-based measures and apply them on a trained model. Based on the distance among original classes, we create mapping among original classes and adversarial classes that helps to reduce the randomness of a model to a significant amount in an adversarial setting. We analyze the high dimensional geometry among the feature classes and identify the k most susceptible target classes in an adversarial attack. We conduct experiments using MNIST, Fashion MNIST, CIFAR-10 (ImageNet and ResNet-32) datasets. Finally, we evaluate our techniques in order to determine which distance-based measure works best and how the randomness of a model changes with perturbation.

연구 동기 및 목표

• 적대적 공격이 모든 클래스를 동일하게 뒤흔들 수 있는지, 아니면 일부 클래스가 본질적으로 더 취약한지 확인하는 것.
• 딥 네트워크 분류기의 특징 공간 기하학적 성질을 활용하여 $k$개의 가장 취약한 타겟 클래스를 식별하는 방법을 개발하는 것.
• 클래스 간 거리 정보를 활용하여 적대적 환경에서 모델의 무작위성을 줄이는 적대적 지도를 만드는 것.
• 적대적 공격에 취약한 클래스를 식별하기 위해 네 가지 거리 기반 측정법(의존성-스케일링(t-SNE), N차원 유클리드, N차원 코사인, 근접 이웃 점프)의 성능을 평가하고 비교하는 것.
• 적대적 편향 능력에 대한 상한선으로서의 '금지 거리' 개념을 도입하고 검증하는 것.

제안 방법

• t-SNE, N차원 유클리드, N차원 코사인, 근접 이웃 점프 거리의 네 가지 측정법을 사용하여 딥 특징 공간 내의 클래스 간 거리를 계산한다.
• 이러한 거리 정보를 기반으로 각 실제 클래스에 대해 잘못 분류될 가능성이 높은 타겟 클래스를 예측하는 적대적 지도를 구성한다.
• 모델에 특화된 적대적 편향의 상한선으로서 '금지 거리'($F_D$)를 도입한다. 이는 이 거리를 초월해 잘못 분류되는 것을 방지하는 편향의 최대 가능 거리이다.
• 모델 엔트로피를 최소화하고 정확한 $F_D$ 추정을 가능하게 하기 위해 근접 이웃 점프 거리를 사용한다. 이를 통해 취약한 클래스를 강력하게 탐지할 수 있다.
• 임계값 전략을 적용한다: 클래스 $c_i$와 $c_j$ 사이의 점프 거리가 $F_D$를 초과하면, $c_i$에서 $c_j$로의 잘못 분류 가능성은 불가능하다고 간주한다.
• MNIST, Fashion-MNIST, CIFAR-10(Imagenet 및 ResNet-32 사용)에서 성능을 평가하며, CE 및 RCE 학습 기반 방어 기법과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 모든 클래스가 적대적 공격에 동일하게 취약한가, 아니면 일부 클래스가 더 높은 취약성을 보이는가?
• RQ2 특징 공간 기하학적 구조를 적대적 취약 클래스 식별에 가장 잘 반영하는 거리 기반 측정법은 무엇인가?
• RQ3 '금지 거리' 개념이 적대적 편향 능력에 대한 신뢰할 수 있는 상한선으로 기능할 수 있는가?
• RQ4 취약한 클래스 수($k$)가 탐지 정확도에 미치는 영향은 무엇이며, 다양한 모델에 대해 최적의 $k$는 무엇인가?
• RQ5 제안된 방법이 CE 및 RCE와 같은 학습 기반 방어 기법보다 적대적 타겟 클래스 식별에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 근접 이웃 점프 거리 측정법이 모델 엔트로피를 가장 효과적으로 줄이고, 금지 거리($F_D$)를 정확하게 계산하여 취약한 클래스를 정밀하게 식별하는 데 기여한다.
• CIFAR-10/ResNet-32 모델에서 $k=4$일 때 제안된 방법은 상위 $k$개의 취약 타겟 클래스 식별에 99.9%의 정확도를 달성하였으며, CE(71.5%) 및 RCE(92.6%) 학습 기반 방법을 모두 능가한다.
• MNIST에서는 클래스 간 분리도가 높고 2차원 t-SNE 시각화에서 특징 겹침이 없기 때문에, 취약한 클래스 탐지 정확도가 55.3%로 낮아지며 RCE(98.8%)에 비해 열등하다.
• 금지 거리($F_D$)는 실제 거리 $D$가 모든 테스트된 편향 수준에서 $F_D$ 이내에 머무르므로, 적대적 편향 능력에 대한 타당한 상한선으로 기능한다.
• 거리 측정법을 기반으로 구성된 적대적 지도는 특히 특징 겹침이 존재하는 복잡한 데이터셋(CIFAR-10)에서 모델의 취약성 패턴을 효과적으로 포착한다.
• 특징 공간의 기하 패턴이 뚜렷한 고복잡도 모델(예: CIFAR-10의 ResNet-32)에서 이 방법은 적대적 행동 예측을 정확하게 수행한다.