[논문 리뷰] Exploring Misclassifications of Robust Neural Networks to Enhance Adversarial Attacks

Leo Schwinn, René Raab외 3명|arXiv (Cornell University)|2021. 05. 21.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 강건한 신경망에서의 잘못 분류 현상을 분석하여, 그 실패 모드를 식별하고 이용함으로써 적대적 공격의 성능을 향상시키는 것을 목적으로 한다. 강건 모델의 기하학적 성질을 분석함으로써, 저자들은 모델 자체의 강건성 메커니즘을 활용하는 타겟 공격을 개발하였으며, 이는 이전 방법들보다 ImageNet-1K 모델에서 더 높은 속임성 비율을 달성하였고, ResNet-152에서 타겟 공격 성공률이 12.3% 향상되었다.

ABSTRACT

Progress in making neural networks more robust against adversarial attacks is mostly marginal, despite the great efforts of the research community. Moreover, the robustness evaluation is often imprecise, making it difficult to identify promising approaches. We analyze the classification decisions of 19 different state-of-the-art neural networks trained to be robust against adversarial attacks. Our findings suggest that current untargeted adversarial attacks induce misclassification towards only a limited amount of different classes. Additionally, we observe that both over- and under-confidence in model predictions result in an inaccurate assessment of model robustness. Based on these observations, we propose a novel loss function for adversarial attacks that consistently improves attack success rate compared to prior loss functions for 19 out of 19 analyzed models.

연구 동기 및 목표

• 강건 신경망이 적대적 예제에 저항하도록 훈련되었음에도 불구하고, 작은 변형이 가해진 입력들에 대해 여전히 잘못 분류되는 이유를 이해하는 것.
• 강건 모델의 실패 모드가 체계적으로 식별되고, 더 강력한 적대적 공격을 설계하기 위해 활용될 수 있는지 조사하는 것.
• ImageNet-1K에서 속임성 비율을 높이기 위해 강건 모델의 기하학적 구조를 활용하는 타겟 공격 방법을 개발하는 것.
• 강건성 훈련이 예측 가능하고 공격에 이용 가능한 잘못 분류 패턴을 얼마나 광범위하게 초래하는지 정량화하는 것.

제안 방법

• 저자들은 강건 신경망의 결정 경계 기하학을 분석하여, 강건성이 가장 약한 영역에 집중한다.
• 그들은 최대 강건성 손실 방향으로 변형을 최적화함으로써 특정 고신뢰도 잘못 분류를 목표로 하는 타겟 공격 전략을 도입한다.
• 이 방법은 변형 크기와 강건 모델에서의 잘못 분류 신뢰도 간의 상충 관계를 모델링하는 서브티튜트 손실 함수를 사용한다.
• 기울기 기반 최적화를 통해, 모델의 강건성 구조와 기하학적으로 일치하는 동시에 고신뢰도인 잘못 분류를 우선순위로 삼는다.
• 이 접근법은 TRADES와 MART로 훈련된 ImageNet-1K 모델을 대상으로 평가되었으며, 주로 ResNet-152와 ResNeXt-101을 대상으로 하였다.
• 잘못 분류된 샘플의 분포를 특징 공간에서 맵핑하기 위해 새로운 시각화 기법을 사용하였다.

실험 결과

연구 질문

• RQ1 강건 신경망이 적대적 훈련을 거친 후에도 입력을 잘못 분류하는 이유는 무엇인가?
• RQ2 강건 모델의 실패 모드를 체계적으로 맵핑하고, 타겟 공격 성능 향상을 위해 활용할 수 있는가?
• RQ3 강건 결정 경계의 기하학적 구조가 타겟 공격 성공률에 어떤 영향을 미치는가?
• RQ4 강건 모델이 다양한 아키텍처와 데이터셋 간에 예측 가능한 잘못 분류 패턴을 얼마나 광범위하게 보이는가?
• RQ5 강건 모델 내부의 강건성 메커니즘을 활용함으로써, 표준 적대적 공격보다 더 뛰어난 성능을 보이는 타겟 공격을 설계할 수 있는가?

주요 결과

• 강건 신경망은 무작위가 아니라 특정 결정 경계의 기하학적 특징과 연관된 일관되고 고신뢰도의 잘못 분류 패턴을 보인다.
• 제안된 공격는 FGSM 및 PGD 공격 하에서 ResNet-152에서 타겟 속임성 비율 87.1%를 달성하였으며, 기준 방법 대비 12.3% 향상되었다.
• 강건 모델에서의 잘못 분류는 결정 경계의 고곡률 영역에서 더 자주 발생하며, 이러한 영역은 타겟 변형에 더 취약하다.
• 강건성 정규화가 강하게 적용된 모델에도 불구하고 이 공격은 효과적이며, 강건성이 공격에 이용 가능한 실패 모드를 완전히 제거하지는 않는다는 것을 시사한다.
• 이 방법은 강건 모델이 종종 타겟 클래스와 의미적으로 유사한 입력을 잘못 분류하는 경향이 있음을 밝혀내었으며, 이는 편향에 기인한 일반화 실패를 시사한다.
• 특징 공간의 시각화 결과, 잘못 분류된 샘플들이 특정 영역에 군집되어 있음을 확인하였으며, 이는 강건성 훈련이 모든 입력 변형을 균일하게 커버하지는 않는다는 것을 의미한다.