[논문 리뷰] Formal Guarantees on the Robustness of a Classifier against Adversarial Manipulation

Matthias Hein, Maksym Andriushchenko|arXiv (Cornell University)|2017. 05. 23.

Adversarial Robustness in Machine Learning참고 문헌 1인용 수 146

한 줄 요약

본 논문은 분류기에 대한 인스턴스-특정 형식적 견고성 보장을 제공하고 커널 방법과 신경망의 견고성을 향상시키기 위해 Cross-Lipschitz Regularization을 도입한다.

ABSTRACT

Recent work has shown that state-of-the-art classifiers are quite brittle, in the sense that a small adversarial change of an originally with high confidence correctly classified input leads to a wrong classification again with high confidence. This raises concerns that such classifiers are vulnerable to attacks and calls into question their usage in safety-critical systems. We show in this paper for the first time formal guarantees on the robustness of a classifier by giving instance-specific lower bounds on the norm of the input manipulation required to change the classifier decision. Based on this analysis we propose the Cross-Lipschitz regularization functional. We show that using this form of regularization in kernel methods resp. neural networks improves the robustness of the classifier without any loss in prediction performance.

연구 동기 및 목표

• 적대적 입력 변화에 대비한 안전-핵심 시스템에서 형식적 견고성 보장의 필요성을 제시한다.
• 분류기 결정이 바뀌기 위해 필요한 입력 교란의 인스턴스-특정 하한을 도출한다.
• 정확도를 희생하지 않으면서 견고성을 향상시키기 위한 Cross-Lipschitz 정규화 함수형을 제안한다.
• 커널 방법과 신경망에 대한 경계(bound)의 평가 방법을 설명한다.
• 견고성을 평가하기 위한 상자 제약 adversarial 샘플 생성을 위한 실용적인 방법을 제시한다.

제안 방법

• 클래스 점수의 로컬 Cross-Lipschitz 상수를 기반으로 교란 노름이 하한 alpha로 하한되는 인스턴스-특정 견고성 경계를 도출한다.
• 가우시안 커널을 갖는 커널 방법에 대한 경계에 대한 특수화와 로컬 Cross-Lipschitz 항을 추정하기 위한 계산 가능한 표현을 제공한다.
• 하나의 은닉층과 미분가능한 활성화를 가진 신경망에 대한 경계를 특수화하여 계산 가능한 Cross-Lipschitz 경계를 얻는다.
• 훈련 지점에서 클래스 출력 간 기울기의 차이를 최소화하는 Cross-Lipschitz Regularization 함수 Omega(f)을 도입한다.
• 훈련 손실에 라벨라 lambda 배를 곱한 것을 최소화하는 것이 오분류에 필요한 최소 교란을 증가시켜 견고성을 높임을 보인다.
• 1차 근사를 사용하여 p ∈ {1,2,∞}에 대해 O(d log d) 시간으로 상자 제약 adversarial 샘플을 생성하는 알고리즘을 제공한다.

실험 결과

연구 질문

• RQ1 분류기 결정이 바뀌지 않는 것을 보장하는 입력 교란 노름의 인스턴스-특정 하한은 무엇인가?
• RQ2 다른 분류기 계열에 대해 로컬 Cross-Lipschitz 상수를 어떻게 계산하고 강화하여 의미 있는 견고성 보장을 얻을 수 있는가?
• RQ3 커널 방법과 신경망에서 Cross-Lipschitz 정규화가 예측 성능의 최소 손실로 견고성을 향상시킬 수 있는가?
• RQ4 상자 제약 하에서 공격 샘플을 어떻게 효율적으로 생성하여 도출된 견고성 보장을 평가할 수 있는가?
• RQ5 제시된 경계와 정규화가 기존의 전역 Lipschitz 접근법보다 더 타이트한 보장을 제공하는가?

주요 결과

• 입력 주위의 구(ball) 내에서 결정이 바뀌지 않음을 보장하는 형식적이며 인스턴스-특정 견고성 한계를 도출한다.
• 가우시안 커널을 가진 커널 방법의 경우 경계가 학습 데이터, 커널 도함수, 로컬 Lipschitz 항을 포함하는 계산 가능한 표현으로 축소된다.
• 하나의 은닉층을 가진 신경망의 경우 네트워크 가중치와 활성화 도함수를 사용해 Cross-Lipschitz 항에 대한 계산 가능한 경계를 도출한다.
• Cross-Lipschitz Regularization Omega(f)이 제안되었고 비슷한 정확도를 유지하면서 견고성 보장을 향상시키는 것으로 나타났다.
• p=1,2,∞에 대해 O(d log d) 시간으로 상자 제약 adversarial 샘플을 생성할 수 있어 견고성과 경계의 타이트함을 실용적으로 평가할 수 있다.