[논문 리뷰] Adversarial Risk Bounds via Function Transformation

Justin Khim, Po‐Ling Loh|arXiv (Cornell University)|2018. 10. 22.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 30

한 줄 요약

이 논문은 표준 분류기들을 적대적 방해에 강건한 것으로 변환하는 함수 변환 프레임워크를 제안한다. 이를 통해 일반화 경계를 도출하기 위해 표준 학습 이론적 도구—특히 Rademacher 복잡도—를 사용할 수 있다. 주요 기여는 선형 및 신경망 분류기에 대해 적대적 편향 하에서 증명 가능하게 유한한 일반화 오차를 도출한 것으로, 오차율은 표준 일반화 오차와 같은 주기수준이다.

ABSTRACT

We derive bounds for a notion of adversarial risk, designed to characterize the robustness of linear and neural network classifiers to adversarial perturbations. Specifically, we introduce a new class of function transformations with the property that the risk of the transformed functions upper-bounds the adversarial risk of the original functions. This reduces the problem of deriving bounds on the adversarial risk to the problem of deriving risk bounds using standard learning-theoretic techniques. We then derive bounds on the Rademacher complexities of the transformed function classes, obtaining error rates on the same order as the generalization error of the original function classes. We also discuss extensions of our theory to multiclass classification and regression. Finally, we provide two algorithms for optimizing the adversarial risk bounds in the linear case, and discuss connections to regularization and distributional robustness.

연구 동기 및 목표

• 딥 러닝에서 적대적 리스크에 대한 일반화 경계가 부족한 문제를 해결하기 위해, 특히 선형 및 신경망 분류기에 대해.
• 표준 분류기를 적대적 방해에 강건한 것으로 변환하는 이론적 프레임워크를 개발하여, 표준 학습 이론적 기법의 사용을 가능하게 하기 위해.
• 원래 함수 클래스에 비해 적대적 리스크를 통제할 수 있는 변환된 함수 클래스에 대한 Rademacher 복잡도 경계를 도출하여 일반화 오차의 열화를 최소화하기 위해.
• 이론을 다중 클래스 분류 및 회귀로 확장하여 이진 분류를 넘어서 적용 범위를 넓히기 위해.
• 제안된 프레임워크를 정규화 및 분포로 불변 최적화와 연결하여 실용적인 최적화 경로를 제공하기 위해.

제안 방법

• 기본 분류기 f를 적대적 편향된 버전 Φf로 매핑하는 변환 연산자 Φ를 도입하여, Φf의 리스크가 f의 적대적 리스크를 상한함.
• 입력 데이터 주변의 ε-구내에서 최악의 편향을 모델링하기 위해 상한 기반 변환을 사용하여, 적대적 방해에 대한 강건성을 최악의 리스크 문제로 공식화함.
• 변환된 함수 클래스 Tℱ에 Rademacher 복잡도 이론을 적용하여 변환된 분류기의 일반화 오차에 대한 경계를 도출함.
• 유한한 차이 부등식과 대칭화 기법을 사용하여 변환된 클래스의 복잡도를 제어하며, ℓ2 노름과 편향 크기 ε에 명시적인 의존성을 포함함.
• 집중 부등식을 통해 일반화 경계를 도출하며, 경계를 강화하기 위해 자유 매개변수 λ에 대해 최소화를 수행함으로써 √n 스케일링이 차원 d에 따라 발생함.
• 손실 함수와 변환 구조를 적절히 조정하여 다중 클래스 및 회귀 설정으로 프레임워크를 확장함.

실험 결과

연구 질문

• RQ1 표준 학습 이론적 도구를 사용하여 선형 및 신경망 분류기에 대해 적대적 리스크에 대한 일반화 경계를 도출할 수 있는가?
• RQ2 적대적 편향 하에서 원래 클래스에 비해 변환된 함수 클래스의 Rademacher 복잡도는 어떻게 비교되는가?
• RQ3 이 변환 프레임워크는 증명 가능한 오차 경계를 갖는 다중 클래스 분류 및 회귀로 확장될 수 있는가?
• RQ4 제안된 적대적 리스크 경계는 기존의 정규화 또는 분포로 불변 최적화 방법과 어떤 관계가 있는가?
• RQ5 이론적 경계는 실무에서 어떻게 최적화될 수 있으며, 강건한 모델 훈련에 대해 어떤 함의를 갖는가?

주요 결과

• 변환된 함수 클래스 Tℱ의 Rademacher 복잡도는 C(√(2d log 2) + 1)√n 이하로 유계이며, 여기서 C는 특징의 ℓ2 노름, 편향 크기 ε, 및 모델 파rameter에 의존한다.
• 변환된 분류기의 일반화 오차 경계는 표준 일반화 오차와 같은 주기수준이므로, 적대적 방해에 강건성이 큰 일반화 손실을 수반하지 않는다는 것을 시사한다.
• 이진 분류의 경우, 기대 적대적 리스크는 변환된 분류기의 경험 리스크에 더하여 O(1/√n) 비례하는 항으로 상한이 된다. 이 항은 R, ε, d를 포함한 명시적인 상수를 포함한다.
• 이 프레임워크는 두 가지 유형의 경계를 도출한다: 원래 손실 기반 경계와 손실의 유계 버전(예: min{1, ℓ})을 사용하는 경계로, 유한 샘플 성능을 향상시킨다.
• 변환은 이론에서 유도된 알고리즘을 통해 적대적 리스크 경계의 최적화를 가능하게 하며, 훈련 효율성과 강건성 향상의 잠재력을 가진다.
• 이 방법은 다중 클래스 및 회귀 문제로 확장되며, 이진 사례와 동일한 일반화 오차 스케일링을 유지하는 이론적 보장을 제공한다.