[논문 리뷰] Is Robustness the Cost of Accuracy? -- A Comprehensive Study on the Robustness of 18 Deep Image Classification Models

Dong Su, Huan Zhang외 4명|arXiv (Cornell University)|2018. 08. 05.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 8

한 줄 요약

이 논문은 여러 가지 적대적 공격 방법과 강건성 메트릭을 사용하여 18종의 최신 ImageNet 모델에서 정확도와 강건성 사이의 상충 관계를 조사한다. 적대적 왜곡과 로그 분류 오차 사이에 강한 선형 관계가 있음을 발견하였고, 모델 아키텍처가 크기보다 강건성에 더 큰 영향을 미친다는 것을 규명하였으며, VGG 모델이 아키텍처 간에 매우 높은 전이 가능성을 보이며 모델 설계를 위한 새로운 정확도-강건성 파레토 경계를 제시한다.

ABSTRACT

The prediction accuracy has been the long-lasting and sole standard for comparing the performance of different image classification models, including the ImageNet competition. However, recent studies have highlighted the lack of robustness in well-trained deep neural networks to adversarial examples. Visually imperceptible perturbations to natural images can easily be crafted and mislead the image classifiers towards misclassification. To demystify the trade-offs between robustness and accuracy, in this paper we thoroughly benchmark 18 ImageNet models using multiple robustness metrics, including the distortion, success rate and transferability of adversarial examples between 306 pairs of models. Our extensive experimental results reveal several new insights: (1) linear scaling law - the empirical $\ell_2$ and $\ell_\infty$ distortion metrics scale linearly with the logarithm of classification error; (2) model architecture is a more critical factor to robustness than model size, and the disclosed accuracy-robustness Pareto frontier can be used as an evaluation criterion for ImageNet model designers; (3) for a similar network architecture, increasing network depth slightly improves robustness in $\ell_\infty$ distortion; (4) there exist models (in VGG family) that exhibit high adversarial transferability, while most adversarial examples crafted from one model can only be transferred within the same family. Experiment code is publicly available at \url{https://github.com/huanzhang12/Adversarial_Survey}.

연구 동기 및 목표

• 고정확도 딥러닝 모델이 적대적 공격에 대해 강건성을 상실하는가를 조사하기 위해.
• 모델 크기, 깊이, 아키텍처와 같은 핵심 요소들이 적대적 강건성에 미치는 영향을 규명하기 위해.
• 정확도-강건성 파레토 경계를 구축하여 강건성 평가의 기준을 마련하기 위해.
• 다양한 모델 패밀리와 아키텍처 간에 적대적 예제의 전이 가능성 분석하기 위해.
• 공개 가능한 코드베이스를 제공하여 ImageNet 모델의 재현 가능한 강건성 평가를 가능하게 하기 위해.

제안 방법

• AlexNet, VGG, ResNet, DenseNet, MobileNet, NASNet 등을 포함한 다양한 아키텍처에서 18개의 사전 훈련된 ImageNet 모델을 벤치마킹하였다.
• 무작위 및 타겟 공격을 포함한 적대적 공격 방법(이중공격, C&W, EAD-L1)을 사용하여 강건성을 평가하였으며, ℓ₂ 및 ℓ∞ 노름에서 다양한 왜곡 크기(ε)를 적용하였다.
• 세 가지 메트릭을 사용하여 강건성을 측정: 적대적 왜곡(ℓ₂ 및 ℓ∞), 공격 성공률, 모델 쌍 간 전이 가능성(총 306개 조합).
• 공격에서 가장 낮은 가능성 있는 레이블이 의미적으로 관련이 없음을 WordNet 계층 구조를 활용해 검증하여 레이블 민감도 편향 최소화.
• 공격에 관계없이 강건성 추정 기법(리프시츠 상수 분석 및 극값 이론)을 적용하여 결과를 교차 검증.
• 실증 결과를 바탕으로 정확도-강건성 파레토 경계를 구축하여 향후 모델 설계의 가이드라인으로 활용.

실험 결과

연구 질문

• RQ1 ImageNet 모델에서 높은 분류 정확도가 적대적 공격에 대한 강건성 감소와 관련이 있는가?
• RQ2 모델 아키텍처, 크기, 깊이 등 다양한 요소가 다양한 모델 간에 적대적 강건성에 미치는 영향은 어떠한가?
• RQ3 다른 아키텍처와 패밀리를 가진 모델 간에 적대적 예제가 얼마나 전이되는가?
• RQ4 유사성 기반 메트릭을 사용해 분류 오차로부터 모델의 강건성을 예측할 수 있는가?
• RQ5 적대적 전이 가능성을 활용하여 블랙박스 모델 아키텍처를 역으로 분석할 수 있는가?

주요 결과

• 강한 선형 스케일링 법칙을 관찰: ℓ₂ 및 ℓ∞ 적대적 왜곡 메트릭이 분류 오차의 로그에 비례하여 선형적으로 증가함을 확인하여, 높은 정확도 모델일수록 작은 왜곡에 더 취약함을 시사.
• 모델 아키텍처는 크기보다 강건성에 더 중요한 결정 요소임; 같은 패밀리(예: VGG, ResNet)의 모델은 유사한 강건성 프로파일을 보임.
• ResNet, Inception, DenseNet 패밀리의 경우 깊이가 증가할수록 ℓ∞ 강건성에 약간이지만 일관되게 향상됨.
• VGG 패밀리의 모델은 매우 높은 전이 가능성을 보이며, 이들에서 생성된 적대적 예제는 나머지 17개의 모든 모델을 성공적으로 속임을 확인하여 적대적 행동에 아키텍처 특징이 존재함을 시사.
• 비-VGG 모델에서 생성된 적대적 예제는 일반적으로 동일한 아키텍처 패밀리 내에서만 전이 가능함을 확인하여 아키텍처 유사성이 전이 가능성 향상에 기여함.
• 이 연구는 공개 가능한 정확도-강건성 파레토 경계를 구축하였으며, 향후 ImageNet 모델의 평가 및 설계를 위한 새로운 기준으로 활용 가능함.