[논문 리뷰] Lipschitz Bounds and Provably Robust Training by Laplacian Smoothing

Vishaal Krishnan, Abed AlRahman Al Makdah외 1명|arXiv (Cornell University)|2020. 06. 05.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 5

한 줄 요약

이 논문은 라그랑주 양자점 문제로부터 유도된 가중치가 부여된 라플라스 연산자를 사용한 파oisson 방정식을 통해 리프시츠 조건을 강제하여 증명 가능하게 강건한 기계 학습 모델을 달성하는 그래프 기반 학습 프레임워크를 제안한다. 주요 기여는 손실 함수와 데이터 분포에만 의존하는 공격에 대한 강건성에 대한 기본 하한을 밝혀내며, 강건성과 정상 성능 사이의 내재된 상충 관계를 드러낸다.

ABSTRACT

In this work we propose a graph-based learning framework to train models with provable robustness to adversarial perturbations. In contrast to regularization-based approaches, we formulate the adversarially robust learning problem as one of loss minimization with a Lipschitz constraint, and show that the saddle point of the associated Lagrangian is characterized by a Poisson equation with weighted Laplace operator. Further, the weighting for the Laplace operator is given by the Lagrange multiplier for the Lipschitz constraint, which modulates the sensitivity of the minimizer to perturbations. We then design a provably robust training scheme using graph-based discretization of the input space and a primal-dual algorithm to converge to the Lagrangian's saddle point. Our analysis establishes a novel connection between elliptic operators with constraint-enforced weighting and adversarial learning. We also study the complementary problem of improving the robustness of minimizers with a margin on their loss, formulated as a loss-constrained minimization problem of the Lipschitz constant. We propose a technique to obtain robustified minimizers, and evaluate fundamental Lipschitz lower bounds by approaching Lipschitz constant minimization via a sequence of gradient $p$-norm minimization problems. Ultimately, our results show that, for a desired nominal performance, there exists a fundamental lower bound on the sensitivity to adversarial perturbations that depends only on the loss function and the data distribution, and that improvements in robustness beyond this bound can only be made at the expense of nominal performance. Our training schemes provably achieve these bounds both under constraints on performance and~robustness.

연구 동기 및 목표

• 공격에 대한 이론적 이해 부족과 증명 가능한 강건성 보장을 제공하지 못하는 공격적 기계 학습의 문제를 해결하기 위해.
• 모델에 하드 리프시츠 제약 조건을 부여하는 제약 최적화 문제로 공격에 강건한 학습을 공식화하기 위해.
• 모델 아키텍처에 의존하지 않고 손실 함수와 데이터 분포에만 의존하는 강건성에 대한 기본 하한을 유도하기 위해.
• 그래프 이산화와 원-이중 최적화를 사용하여 이러한 하한을 증명 가능하게 달성하는 학습 체계를 설계하기 위해.
• 리프시츠 상수와 손실 마진 사이의 역관계로 정량화된, 모델 성능과 강건성 사이의 기본 상충 관계를 드러내기 위해.

제안 방법

• 라그랑주 이중 접근법을 사용하여 리프시츠 제약 조건이 부여된 모델에 대한 기대 손실 최소화 문제로 강건 학습 문제를 공식화한다.
• 라그랑주 함수의 안장점이 가중치가 부여된 라플라스 연산자를 가진 파oisson 방정식의 약한 해로 특성화되며, 이 가중치는 리프시츠 제약 조건을 강제하는 라그랑주 승수이다.
• 유한한 그래프에서 결과로 생기는 편미분 방정식을 수치적으로 해결하기 위해 입력 공간의 그래프 기반 이산화를 시행한다.
• 원-이중 알고리즘을 사용하여 안장점으로 수렴함으로써 최적의 강건 모델로 수렴함을 보장한다.
• 모르리의 부등식을 활용하여 차원 $\dim(\mathbb{X})$ 보다 큰 $p$에 대해 $p$-노름 최소화 문제의 순서를 통해 리프시츠 상수 최소화에 접근한다.
• 반복적인 그래프 기반 절차를 사용하여 최소화자에 대한 강건성을 향상시키면서도 손실의 마진을 유지한다.

실험 결과

연구 질문

• RQ1 주어진 손실 함수와 데이터 분포에 대해 공격에 대한 강건성의 기본 하한은 무엇인가?
• RQ2 성능 제약 조건 하에서 이론적 강건성 한계를 증명 가능하게 달성할 수 있는 학습 체계는 어떻게 설계할 수 있는가?
• RQ3 리프시츠 제약 조건이 부여된 학습에서 모델 성능과 강건성 사이의 내재된 상충 관계는 무엇인가?
• RQ4 라플라스 연산자에서의 가중치(라그랑주 승수를 통해)는 모델의 변형에 대한 민감도에 어떻게 영향을 미치는가?
• RQ5 기본 모델을 초월하여 체계적으로 모델의 강건성을 향상시킬 수 있으며, 동시에 정상 성능에 대한 보장된 마진을 유지할 수 있는가?

주요 결과

• 최적의 강건 모델은 리프시츠 제약 조건을 강제하는 라그랑주 승수로 가중치가 부여된 라플라스 연산자를 가진 파oisson 방정식의 해로 특성화된다.
• 어떤 모델이라도 원하는 정상 성능 수준을 달성할 경우, 리프시츠 상수에 대한 기본 하한이 존재하며, 이는 손실 함수와 데이터 분포에만 의존한다.
• 이 하한을 초월해 강건성을 향상시키는 것은 정상 성능이 악화되는 것을 수반하므로, 딱딱한 상충 관계가 존재한다.
• 차원 $\dim(\mathbb{X})$ 보다 큰 $p$에 대해 $p$-파oisson 문제의 순서는 최소로 달성 가능한 리프시츠 상수를 가진 전역 최적 최소화자로 균일 수렴한다.
• 수치 실험 결과, 리프시츠 상한이 $\alpha = 18$까지 증가함에 따라 변형에 대한 민감도가 증가하고, 분류 신뢰도가 높아질수록 강건성이 떨어지는 것으로 나타났다.
• 제안된 학습 체계는 성능 및 강건성 제약 조건 하에서 이론적 강건성 하한을 증명 가능하게 달성한다.