[논문 리뷰] Adversarial Robustness May Be at Odds With Simplicity

Preetum Nakkiran|arXiv (Cornell University)|2019. 01. 02.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 75

한 줄 요약

본 논문은 로버스트 분류가 표준 분류보다 더 복잡한(심지어 기하급수적으로 더 복잡한) 분류기로 필요할 수 있음을 이론적으로 구성으로 보이고, 단순 분류기들 사이에서도 적대적 강건성과 표준 정확도 사이에 trade-off가 존재할 수 있음을 보인다.

ABSTRACT

Current techniques in machine learning are so far are unable to learn classifiers that are robust to adversarial perturbations. However, they are able to learn non-robust classifiers with very high accuracy, even in the presence of random perturbations. Towards explaining this gap, we highlight the hypothesis that $ extit{robust classification may require more complex classifiers (i.e. more capacity) than standard classification.}$ In this note, we show that this hypothesis is indeed possible, by giving several theoretical examples of classification tasks and sets of "simple" classifiers for which: (1) There exists a simple classifier with high standard accuracy, and also high accuracy under random $\ell_\infty$ noise. (2) Any simple classifier is not robust: it must have high adversarial loss with $\ell_\infty$ perturbations. (3) Robust classification is possible, but only with more complex classifiers (exponentially more complex, in some examples). Moreover, $ extit{there is a quantitative trade-off between robustness and standard accuracy among simple classifiers.}$ This suggests an alternate explanation of this phenomenon, which appears in practice: the tradeoff may occur not because the classification task inherently requires such a tradeoff (as in [Tsipras-Santurkar-Engstrom-Turner-Madry `18]), but because the structure of our current classifiers imposes such a tradeoff.

연구 동기 및 목표

• 강건한 분류가 표준 분류보다 더 높은 용량을 필요로 할 수 있음을 동기화한다.
• 간단한 분류기가 강건하지 못하는 동시에 더 복잡한 모델에서만 강건한 분류가 존재하는 구체적 구성들을 제공한다.
• 단순한 분류기들 사이에서 적대적 손실과 표준 손실 간의 양적 트레이드를 보여준다.

제안 방법

• 분류기들의 표준 손실, 적대적 손실, 그리고 잡음에 강한 손실을 정의한다.
• 단순 선형 분류기들이 낮은 표준/잡음 손실을 가질 수 있지만 높은 적대적 손실을 가지는 분포가 있는 구성 1을 제시하고, 비-단순 분류기가 낮은 적대적 손실을 달성하는지 보인다.
• 정리 2를 제시하여 간단한 분류기 하위집합에서 적대적 손실과 표준 손실 사이의 명시적 트레이드를 보인다.
• 잡-경우의 하드 함수(average-case hard function)를 이용한 구성 2를 제시하여 강건성에 필요한 시간/복잡도 요구를 구분한다.
• 강건한 분류는 표준 분류에 필요한 것보다 기하급수적으로 더 복잡한 분류기를 필요로 할 수 있음을 보인다.

실험 결과

연구 질문

• RQ1 현 시점의 기법들이 적대적으로 강건한 분류기를 학습하면서도 높은 표준 정확도를 달성하는 데 왜 어려움을 겪는가?
• RQ2 강건성이 반드시 더 높은 분류기 용량을 필요로 하는가? 구체적인 설정에서 이를 증명할 수 있는가?
• RQ3 단순한 분류기가 적대적 강건성과 표준 정확도 사이의 트레이드를 보일 수 있는가?
• RQ4 강건한 분류기가 존재하지만 얻기 위해서는 훨씬 더 큰 계산적 또는 표현적 복잡성이 필요한 조건은 무엇인가?
• RQ5 강건성은 표준 분류에서의 단순하고 취약한 특징을 활용하는 능력과 어떤 관계가 있는가?

주요 결과

• 단순한 분류기 중에서도 고표준 정확도와 높은 잡음 강건 정확도를 가지지만 l_infinity 섭동에 대해 비강건(높은 적대적 손실)인 경우가 존재한다.
• 어떤 단순 선형 분류기도 적대적 섭동하에서 비강건일 수 있으며, 더 복잡한(비선형) 분류기가 낮은 적대적 손실을 달성할 수 있다.
• 일부 구성에서 강건한 분류는 표준 분류에 필요한 것보다 지수적으로 더 복잡한 분류기를 필요로 한다.
• 단순 분류기들 사이에 적대적 손실과 표준 손실 간의 양적 트레이드오프가 존재한다.
• 강건한 분류기가 존재하더라도 찾기 위해서는 높은 계산 복잡도가 필요한 분포가 있다.
• 하나의 구성에서는 간단한 전처리 단계(반올림)가 복잡도를 늘리지 않으면서 강건성을 달성하지 못하게 만들 수 있다.