[논문 리뷰] Adversarial Classification: Necessary conditions and geometric flows

Nicolás García Trillos, Ryan Murray|arXiv (Cornell University)|2020. 11. 21.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 5

한 줄 요약

이 논문은 $\varepsilon$-유계 변형에 대한 최적 분류기의 필요 조건을 유도하는 기하 최적화 문제로 악성 분류를 공식화한다. 이는 $\varepsilon=0$에서 베이즈 분류기에서 시작하여 결론 경계를 변화시키는 기하학적 흐름을 도입하며, 이는 고차원에서는 평균 곡률 유형의 PDE이자 1차원에서는 분리된 ODE와 동치이다. 작은 $\varepsilon$에 대해 미약한 정규성 가정 하에 해의 국소 존재성과 유일성을 증명한다.

ABSTRACT

We study a version of adversarial classification where an adversary is empowered to corrupt data inputs up to some distance $\varepsilon$, using tools from variational analysis. In particular, we describe necessary conditions associated with the optimal classifier subject to such an adversary. Using the necessary conditions, we derive a geometric evolution equation which can be used to track the change in classification boundaries as $\varepsilon$ varies. This evolution equation may be described as an uncoupled system of differential equations in one dimension, or as a mean curvature type equation in higher dimension. In one dimension, and under mild assumptions on the data distribution, we rigorously prove that one can use the initial value problem starting from $\varepsilon=0$, which is simply the Bayes classifier, in order to solve for the global minimizer of the adversarial problem for small values of $\varepsilon$. In higher dimensions we provide a similar result, albeit conditional to the existence of regular solutions of the initial value problem. In the process of proving our main results we obtain a result of independent interest connecting the original adversarial problem with an optimal transport problem under no assumptions on whether classes are balanced or not. Numerical examples illustrating these ideas are also presented.

연구 동기 및 목표

• \ell_2-유계 변형 하에서 악성 이진 분류 문제의 최적 분류기의 필요 조건을 설정한다.
• 적대자의 변형 반경 $\varepsilon$가 증가함에 따라 결론 경계가 어떻게 변화하는지를 묘사하는 기하학적 진동 방정식을 유도한다.
• 클래스 균형에 관계없이 이중성에 기반하여 악성 분류 문제를 최적 운반 이론과 엄밀히 연결한다.
• 초기값 문제를 통해 베이즈 분류기를 진동시켜 강건한 분류기를 근사하는 계산 프레임워크를 제공한다.
• 1차원 및 고차원에서 유도된 진동 방정식의 해의 정규성과 안정성 분석을 수행한다.

제안 방법

• 적대적 분류 문제를 $\varepsilon$-변형에 의해 유도되는 둘레 유형 정규화를 가진 변분 최적화 문제로 공식화한다.
• 최적성의 오일러-라그랑주 유형 필요 조건을 도출하여 1차원에서는 ODE 시스템, 고차원에서는 PDE를 이끌어낸다.
• 1차원에서는 경계점 $a_i(\varepsilon)$와 $b_i(\varepsilon)$의 진동이 클래스 밀도 $\rho_0$와 $\rho_1$의 도함수를 포함하는 분리된 ODE에 의해 지배된다.
• 고차원에서는 경계의 진동이 평균 곡률 유형 PDE로 묘사되며, 이는 부호 거리 함수와 법선 도함수에서 기인하는 곡률 항을 포함한다.
• $T(x) = x + \varepsilon \nu(x)$를 통한 정규 맵을 이용한 변수 변환을 통해 $\varepsilon$-오프셋 위의 표면 적분을 위한 공액 공식을 유도한다.
• 층층 표현과 최적 운반 이중성을 적용하여, 균형 잡힌 클래스를 가정하지 않고도 적대적 문제를 운반 문제로 재구성한다.

실험 결과

연구 질문

• RQ1 적대자의 변형 반경 $\varepsilon$가 0에서 증가함에 따라 최적 적대 분류기의 결론 경계는 어떻게 진동하는가?
• RQ2 $\ell_2$-유계 변형 하에서 적대 분류의 최적성에 대한 필요 조건은 무엇인가?
• RQ3 $\varepsilon=0$에서의 베이즈 분류기를 작은 $\varepsilon>0$에 대한 최적 분류기를 계산하는 데 기초로 사용할 수 있는가?
• RQ4 클래스가 균형을 이루지 않을 경우, 적대 분류와 최적 운반 간의 연결 고리는 무엇인가?
• RQ5 기하학적 진동 방정식이 결론 경계의 정규성과 위상적 변화를 유지하는 조건은 무엇인가?

주요 결과

• 1차원에서는 클래스 밀도 $\rho_0$와 $\rho_1$에 대한 미약한 정규성 가정 하에 작은 $\varepsilon$에 대해 적대 문제의 해를 베이즈 분류기에서 시작하는 초기값 문제를 풀어 얻을 수 있다.
• 경계점 $b_i(\varepsilon)$와 $a_i(\varepsilon)$의 진동은 $\varepsilon$-이동된 점에서의 클래스 밀도 도함수를 포함하는 분리된 ODE에 의해 지배된다.
• 고차원에서는 초기값 문제의 매끄러운 해가 존재한다고 가정할 경우, 결론 경계의 진동은 평균 곡률 유형 PDE로 묘사된다.
• 적대 분류 문제는 이중성에 의해 최적 운반 문제와 동치임을 입증하였으며, 이는 클래스가 균형을 이루지 않을 경우에도 유효하다.
• 기하학적 흐름은 초기 베이즈 분류기의 구조를 $\varepsilon$에 대해 국소적으로 유지하며, 위상적 변화는 더 큰 $\varepsilon$에서 해의 유일성 상실을 초래할 수 있다.
• 수치 예제들은 $\varepsilon$ 증가에 따른 결론 경계의 진동을 시각화하여 이론적 예측인 경계의 부드러움과 곡률 기반 운동을 확인한다.