[논문 리뷰] A Closer Look at Accuracy vs. Robustness

Yao-Yuan Yang, Cyrus Rashtchian외 3명|arXiv (Cornell University)|2020. 03. 05.

Adversarial Robustness in Machine Learning참고 문헌 73인용 수 83

한 줄 요약

논문은 강건성과 정확성이 본질적으로 상충하지 않으며 로컬 Lipschitz 함수들을 사용하면 실제 이미지 데이터에서도 달성 가능하다고 주장합니다. 현재 방법들이 왜 성능이 떨어지는지 분석하고 드롭아웃이 강건한 학습과 결합될 때 일반화 능력을 향상시킬 수 있음을 보입니다.

ABSTRACT

Current methods for training robust networks lead to a drop in test accuracy, which has led prior works to posit that a robustness-accuracy tradeoff may be inevitable in deep learning. We take a closer look at this phenomenon and first show that real image datasets are actually separated. With this property in mind, we then prove that robustness and accuracy should both be achievable for benchmark datasets through locally Lipschitz functions, and hence, there should be no inherent tradeoff between robustness and accuracy. Through extensive experiments with robustness methods, we argue that the gap between theory and practice arises from two limitations of current methods: either they fail to impose local Lipschitzness or they are insufficiently generalized. We explore combining dropout with robust training methods and obtain better generalization. We conclude that achieving robustness and accuracy in practice may require using methods that impose local Lipschitzness and augmenting them with deep learning generalization techniques. Code available at https://github.com/yangarbiter/robust-local-lipschitz

연구 동기 및 목표

• 실험적으로 실제 이미지 데이터셋이 클래스 분리(r-분리)를 보이는지 평가합니다.
• 이론적으로 r-분리와 로컬 Lipschitz성의 존재가 강건하고 정확한 분류기의 존재와 연결되는지 설명합니다.
• 현재 강건성 방법(AT, TRADES, RST)이 로컬 Lipschitz성과 일반화 격차 측면에서 어떻게 성능을 나타내는지 평가합니다.
• 표준 일반화 기법(예: 드롭아웃)이 일반화 격차를 줄이고 강건성을 개선할 수 있는지 조사합니다.
• 강건성과 정확성을 동시에 촉진하는 학습 과정 설계에 대한 가이드를 제공합니다.

제안 방법

• 이미지에 대한 거리 메트릭스를 사용하여 실제 데이터셋에서 r-분리를 정의하고 분석합니다.
• 로컬 Lipschitz 함수의 반올림이 r-분리 데이터에서 반경 r에서 예리함(astuteness 1)을 가지는 분류기를 생성함을 보입니다.
• MNIST, SVHN, CIFAR-10, 그리고 Restricted ImageNet에서 강건성 방법(AT, RST, TRADES)을 평가하고 로컬 Lipschitz성 및 일반화 격차에 초점을 맞춥니다.
• PGD 유사 절차를 통해 경험적 로컬 Lipschitz 상수를 측정하여 분류기 스무스함을 평가합니다.
• 일반화 기법으로서의 드롭아웃이 강건한 학습과 결합될 때 강건성, 정확성 및 Lipschitz성에 미치는 영향을 실험합니다.

실험 결과

연구 질문

• RQ1 실제 이미지 데이터셋이 클래스 간 r-분리를 보이나요?
• RQ2 r-분리 분포가 로컬 Lipschitz 반올림 함수에 의해 강건하고 정확한 분류기로 이어질 수 있나요?
• RQ3 현실적인 강건성 방법이 이론에 비해 성능이 떨어지는 이유는 로컬 Lipschitz성의 한계 때문인가요, 아니면 일반화의 문제인가요?
• RQ4 강건한 학습에 드롭아웃을 추가하면 일반화 격차를 줄이고 강건성과 정확성을 개선하나요?
• RQ5 현대의 강건성 방법들은 표준 벤치마크에서 로컬 매끄러움, 강건성 및 일반화를 어떻게 균형 잡나요?

주요 결과

• 실제 이미지 데이터셋(MNIST, CIFAR-10, SVHN, Restricted ImageNet)은 강건성 실험에서 일반적으로 사용되는 섭동 반경에 대해 r-분리됩니다.
• 로컬 Lipschitz 함수의 반올림이 r-분리 데이터에서 반경 r에서 astuteness 1인 분류기를 생성할 수 있음을 시사하며, 이론적으로 강건성과 정확성은 공존할 수 있습니다.
• Adversarial Training(AT), Robust Self-Training(RST), TRADES는 강한 로컬 Lipschitz성과 강건성을 부여하지만 일반화 격차가 큽니다.
• 드롭아웃은 일반화 격차를 줄이고 강건한 방법과 결합될 때 깨끗한 데이터와 적대적 테스트 정확도를 모두 개선할 수 있습니다.
• AT/RST/TRADES는 더 부드러운 분류기를 달성하지만 일반화는 여전히 좋지 않은 경우가 많으며, 드롭아웃은 이를 개선하고 더 큰 매끄러움을 가져올 수 있습니다。