[논문 리뷰] Generalized No Free Lunch Theorem for Adversarial Robustness

Elvis Dohmatob|arXiv (Cornell University)|2018. 10. 08.

Adversarial Robustness in Machine Learning인용 수 30

한 줄 요약

이 논문은 공격자에 대한 강건성에 대한 일반화된 '무료 점심' 정리(No Free Lunch Theorem)를 수립하며, 데이터 분포에 대한 약한 기하 조건(예: 로그-볼록 또는 리만 다양체 밀도) 하에서, 오차가 완전하지 않은 분류기의 경우, 노이즈 임계값을 초과하는 변형이 있을 경우 항상 공격에 취약하다는 것을 증명한다. 주요 결과는 데이터의 내재적 노이즈 수준과 분류기의 오차율에 연결된 임계값을 초과하면, 공격자가 성공할 가능성이 매우 높다는 것이다.

ABSTRACT

This manuscript presents some new impossibility results on adversarial robustness in machine learning, a very important yet largely open problem. We show that if conditioned on a class label the data distribution satisfies the $W_2$ Talagrand transportation-cost inequality (for example, this condition is satisfied if the conditional distribution has density which is log-concave; is the uniform measure on a compact Riemannian manifold with positive Ricci curvature, any classifier can be adversarially fooled with high probability once the perturbations are slightly greater than the natural noise level in the problem. We call this result The Strong "No Free Lunch" Theorem as some recent results (Tsipras et al. 2018, Fawzi et al. 2018, etc.) on the subject can be immediately recovered as very particular cases. Our theoretical bounds are demonstrated on both simulated and real data (MNIST). We conclude the manuscript with some speculation on possible future research directions.

연구 동기 및 목표

• 넓은 범위의 데이터 분포에 걸쳐 공격자에 대한 강건성의 기본적 한계를 규명하는 것.
• 기하 조건을 규명하여 이전의 '무료 점심' 결과를 일반화함으로써, 강건성이 불가능한 조건을 규명하는 것.
• 정확도가 높은 분류기라도 변형이 데이터 노이즈 수준과 일반화 오차율에 연결된 임계값을 초과할 경우 취약하다는 것을 보여주는 것.
• 공격자에 대한 강건성과 데이터의 기하적 성질(예: 곡률 및 측도 집중)을 연결하는 것.
• 공격자 가정이 지나치게 관대한 현행 위협 모델을 재고하여 이들의 결과를 완화할 수 있도록 유도하는 것.

제안 방법

• 조건부 데이터 분포에 대해 $W_2$ 탈라그랑 운반비용 부등식을 충족시키는 충분조건으로 하여 강건성의 한계를 유도하는 데 활용한다.
• 기하 확률론과 측도 집중 이론을 사용하여 데이터 다양체 상에서 공격자에 의한 오분류까지의 거리를 제한한다.
• 공격자가 성공할 가능성이 높아지는 임계 변형 임계값 $\epsilon(h|k) \approx \sigma_k \Phi^{-1}(\text{acc}(h|k))$ 를 유도한다.
• 정규분포 및 로그-볼록 분포의 尾부 경계를 적용하여 공격자에 의한 오분류 가능성의 정도를 정량화한다.
• 심층 피드포워드 및 CNN 아키텍처를 사용하여 시뮬레이션 데이터와 MNIST에서 이론적 경계를 실증적으로 검증한다.
• 공격 정확도가 임계 $\epsilon$ 이후에 급격히 감소하는 단계 전이 모델을 도입한다.

실험 결과

연구 질문

• RQ1 어떤 기하 조건 하에서 데이터 분포에 대해 어떤 비완전 분류기라도 공격자에 대한 강건성이 본질적으로 불가능한가?
• RQ2 공격자에 의한 공격의 임계 변형 임계값을 분류기의 일반화 오차율과 데이터 노이즈 수준으로 표현할 수 있는가?
• RQ3 기존의 공격자에 대한 강건성 결과들(예: Tsipras 등, 2018)이 더 넓은 불가능성 정리의 특수한 경우로 어떻게 나타나는가?
• RQ4 다양체 상에서의 측도 집중이 공격자에 대한 강건성과 분포적 강건성의 한계를 완전히 기술할 수 있는가?
• RQ5 이론적 경계가 MNIST와 같은 실제 데이터셋에서 어떻게 나타나는가?

주요 결과

• 일반화 오차 $\text{err}(h|k) > 0$ 를 가지는 데이터 분포에서 $W_2$ 탈라그랑 부등식을 만족하는 모든 분류기는, 변형이 $\epsilon(h|k) \approx \sigma_k \sqrt{2\log(1/\text{err}(h|k))}$ 를 초과할 경우 높은 확률로 공격에 성공당할 수 있다.
• 클래스 $k$의 데이터 포인트에서 오분류되는 공격자 기반 포인트 집합까지의 평균 거리는 $\sigma_k \left( \Phi^{-1}(\text{acc}(h|k)) + \sqrt{\pi/2} \right)$ 로 상한이 존재한다.
• 시뮬레이션 데이터와 MNIST에서, 공격 정확도는 임계값 $\epsilon = \epsilon_\infty(h|k)$ 에 도달하기 전까지는 서서히 감소하고, 이후에는 기하급수적으로 감소하여 우연의 수준에 도달한다.
• 이론적 단계 전이가 MNIST에서의 실증 관측과 일치하여, 이상적인 분포를 초월해 광범위하게 적용 가능함을 시사한다.
• 이 연구 결과는 이전의 '무료 점심' 정리(예: Tsipras 등, 2018)를 특수한 경우로 일반화하여, 하나의 기하학적 프레임워크로 통합한다.
• 현재의 위협 모델(예: $\ell_p$-유계 변형)은 지나치게 관대할 수 있으며, 공격자 제약 조건을 재고하면 이러한 불가능성 결과를 완화할 수 있을 것이라 제안한다.