[논문 리뷰] Generalised Lipschitz Regularisation Equals Distributional Robustness

Zac Cranko, Zhan Shi외 3명|arXiv (Cornell University)|2020. 02. 11.

Adversarial Robustness in Machine Learning참고 문헌 66인용 수 5

한 줄 요약

이 논문은 최적화에서 일반화된 리프시츠 정규화와 분포로 우수성 사이의 이론적 동치성을 확립한다. 펜체르 복소성과 하위미분 분석을 활용하여, 함수가 비용 함수 $ c $ 에 대해 리프시츠 연속임은 $ c $ 의 원점에서의 하위미분에 포함되는 것과 동치임을 증명함으로써, 우수성과 볼록 쌍대 함수의 구조적 성질을 연결한다.

ABSTRACT

The problem of adversarial examples has highlighted the need for a theory of regularisation that is general enough to apply to exotic function classes, such as universal approximators. In response, we give a very general equality result regarding the relationship between distributional robustness and regularisation, as defined with a transportation cost uncertainty set. The theory allows us to (tightly) certify the robustness properties of a Lipschitz-regularised model with very mild assumptions. As a theoretical application we show a new result explicating the connection between adversarial learning and distributional robustness. We then give new results for how to achieve Lipschitz regularisation of kernel classifiers, which are demonstrated experimentally.

연구 동기 및 목표

• 분포 이동 하에서 리프시츠 정규화와 우수성 간의 관계를 체계화하는 것.
• 하위미분 포함을 통해 비용 함수 $ c $ 에 대한 리프시츠 연속성의 특성화를 하는 것.
• 펜체르 쌍대 함수를 통해 $ c $-리프시츠 연속성에 대한 쌍대 기반 조건을 수립하는 것.
• 하위선형 비용 함수 하에서 분포로 우수성이 일반화된 리프시츠 정규화와 동치임을 증명하는 것.

제안 방법

• 비용 함수 $ c(x - y_0) - f(x) $ 의 최소화 문제를 펜체르 쌍대성을 활용해 쌍대 문제로 변환하여 쌍대 함수를 포함하는 문제로 전환한다.
• 톨랜드 쌍대 공식을 적용하여 원래 문제와 쌍대 문제의 하위미분 조건을 연결한다.
• 하위미분 미분법을 활용하여, 모든 $ \epsilon \geq 0 $ 에 대해 $ \partial_\epsilon f(x) \subseteq \partial_\epsilon c(0) $ 이면 $ \text{lip}_c(f) \leq 1 $ 임을 보인다.
• Zalinescu(2002)와 Hiriart-Urruty(1989)의 볼록 해석 결과를 활용하여 연속성과 하위미분의 비어있지 않음을 보장한다.
• 비용 함수 $ c $ 가 하위선형인 경우 $ c^* = \iota_{\partial c(0)} $ 임을 이용하여, 하위미분 외부에서는 쌍대 함수 값이 무한대가 됨을 도출한다.
• 모든 $ \epsilon \geq 0 $ 에 대해 $ \epsilon $-하위미분의 포함 관계를 통해 $ c $-리프시츠 연속성의 필요충분 조건을 유도한다.

실험 결과

연구 질문

• RQ1 함수 $ f $ 가 비용 함수 $ c $ 에 대해 리프시츠 연속이 되는 조건은 무엇인가?
• RQ2 최적화에서 일반화된 리프시츠 정규화는 분포로 우수성과 어떻게 관련이 있는가?
• RQ3 $ c $-리프시츠 성질은 하위미분 포함을 통해 특성화될 수 있는가?
• RQ4 펜체르 쌍대성은 어떻게 우수성과 정규화를 연결하는가?

주요 결과

• 함수 $ f $ 가 $ c $-리프시츠 연속임은 모든 $ \epsilon \geq 0 $ 에 대해 그 $ \epsilon $-하위미분이 원점에서의 $ c $ 의 $ \epsilon $-하위미분에 포함될 때이고, 그와 동치이다.
• 모든 $ \epsilon \geq 0 $ 에 대해 $ \partial_\epsilon f(X) \subseteq \partial_\epsilon c(0) $ 이면 $ \text{lip}_c(f) \leq 1 $ 이다.
• 만약 $ x^* \notin \partial_\epsilon c(0) $ 이면, $ c(x - y_0) - f(x) $ 의 하한값은 $ -\infty $ 가 되며, 이는 $ c $-리프시츠 조건의 실패를 의미한다.
• 쌍대 함수 $ c^* $ 는 $ \partial c(0) $ 의 지표 함수이므로, $ x^* \notin \partial c(0) $ 이면 $ c^*(x^*) = \infty $ 가 되며, 이는 쌍대 문제의 붕괴를 초래한다.
• 증명 과정을 통해 분포로 우수성이 $ c $-리프시츠 정규화의 구조적 성질을 통해 자연스럽게 유도됨을 보였다.