[논문 리뷰] Limitations of adversarial robustness: strong No Free Lunch Theorem.

Elvis Dohmatob|arXiv (Cornell University)|2018. 10. 08.

Adversarial Robustness in Machine Learning참고 문헌 14인용 수 15

한 줄 요약

이 논문은 적대적 로버스트니에 대한 강력한 프리 런치 정리(Strong No Free Lunch Theorem)를 수립하며, $W_2$ 탈라그랑 운반비용 부등식을 만족하는 데이터에 대해, 즉 로그-볼록 또는 양의 곡률을 가진 다양체 위의 균일 분포와 같은 경우, 편향이 자연 노이즈 수준을 초과할 경우 어떤 분류기라도 높은 확률로 적대적으로 속임을 증명한다. 이 결과는 이전의 불가능성 결과를 일반화하며, MNIST와 시뮬레이션 데이터에서 검증된다.

ABSTRACT

This manuscript presents some new impossibility results on adversarial robustness in machine learning, a very important yet largely open problem. We show that if conditioned on a class label the data distribution satisfies the $W_2$ Talagrand transportation-cost inequality (for example, this condition is satisfied if the conditional distribution has density which is log-concave; is the uniform measure on a compact Riemannian manifold with positive Ricci curvature, any classifier can be adversarially fooled with high probability once the perturbations are slightly greater than the natural noise level in the problem. We call this result The Strong No Free Lunch Theorem as some recent results (Tsipras et al. 2018, Fawzi et al. 2018, etc.) on the subject can be immediately recovered as very particular cases. Our theoretical bounds are demonstrated on both simulated and real data (MNIST). We conclude the manuscript with some speculation on possible future research directions.

연구 동기 및 목표

• 자연적 데이터 분포 전반에 걸쳐 적대적 로버스트니를 달성하는 데 있어 근본적인 제약 조건을 규명하는 것.
• 최적의 분류기조차도 불가피한 적대적 예외가 발생하는 조건을 체계화하는 것.
• 운반비용 부등식을 활용하여 이전의 불가능성 결과를 더 넓은 이론적 프레임워크로 일반화하는 것.
• 이론적 경계를 MNIST와 시뮬레이션 데이터에서 실증적으로 검증하는 것.
• 향후 연구를 이끌기 위해 견고한 학습의 내재적 장벽을 규명하는 것.

제안 방법

• 이론적 분석은 $W_2$ 탈라그랑 운반비용 부등식에 기반하며, 이는 조건부 데이터 분포의 집중도를 기술한다.
• 논문은 각 클래스 레이블에 대해 데이터 분포가 $W_2$ 탈라그랑 부등식을 만족한다고 가정한다. 이 조건은 로그-볼록 밀도 및 양의 리만 곡률을 가진 컴acts 리만 다양체 위의 균일 측도에서 성립한다.
• 이 조건 하에서, 편향이 자연 노이즈 수준을 초과할 경우 어떤 분류기든 적대적 공격에 취약해짐을 증명한다.
• 증명은 최적 운반 이론과 측도 집중 이론의 기하학적·확률적 도구를 활용한다.
• 이론적 경계는 로그-볼록 및 균일 분포를 가진 시뮬레이션 데이터와 MNIST에서 유도되고 실증적으로 검증된다.
• 이 프레임워크는 이전 결과들(예: Tsipras 등 2018, Fawzi 등 2018)을 특수한 경우로 통합하고 확장한다.

실험 결과

연구 질문

• RQ1 어떤 분포 가정 조건 하에서 적대적 로버스트니가 본질적으로 불가능한가?
• RQ2 $W_2$ 탈라그랑 운반비용 부등식을 사용해 적대적 취약성에 대한 보편적 하한 경계를 유도할 수 있는가?
• RQ3 기존의 로버스트니 결과들이 일반화되지 않는 특정 데이터 가정에 얼마나 의존하는가?
• RQ4 자연 노이즈 수준과 실제 데이터 분포에서의 적대적 취약성 임계값 사이의 관계는 어떻게 되는가?
• RQ5 제안된 프레임워크는 이전의 적대적 로버스트니 불가능성 결과를 회복하고 일반화할 수 있는가?

주요 결과

• $W_2$ 탈라그랑 운반비용 부등식을 만족하는 데이터에 대해 훈련된 모든 분류기는 편향이 자연 노이즈 수준을 초과할 경우 적대적 공격에 취약해진다.
• 이 결과는 로그-볼록 밀도 및 양의 리만 곡률을 가진 컴팩트 리만 다양체 위의 균일 측도를 포함한 광범위한 분포 클래스에 적용된다.
• 적대적 취약성에 대한 이론적 경계는 시뮬레이션 데이터와 MNIST 양쪽 모두에서 성립함을 확인하여 예측을 실증적으로 검증했다.
• 이 프레임워크는 Tsipras 등(2018) 및 Fawzi 등(2018)의 이전 불가능성 결과를 특수한 경우로 복원하고 일반화한다.
• 결과는 자연적 데이터 분포에 대한 온건하고 자연스러운 가정 하에서는 적대적 로버스트니가 원칙적으로 달성 불가능하다는 것을 시사한다.
• 이 연구는 이러한 분포 조건 하에서 자연 정확도와 적대적 로버스트니 사이에 근본적인 상충 관계가 존재함을 규명한다.