[논문 리뷰] Improved Generalization Bounds for Robust Learning.

Idan Attias, Aryeh Kontorovich외 1명|arXiv (Cornell University)|2018. 10. 04.

Machine Learning and Algorithms참고 문헌 59인용 수 15

한 줄 요약

이 논문은 입력당 최대 k개의 손상이 가능한 설정에서 적대적 환경에서의 강건한 학습을 위한 개선된 일반화 경계를 제안한다. 학습자-적대자 상호작용을 입력당 k개의 손상이 가능한 0-합 게임으로 모델링한다. 이는 이전의 바이너리 분류 경계 O(1/ε⁴ log(|H|/δ))를 O(1/ε²(√(k·VC(H)) log^{3/2+α}(k·VC(H)) + log(1/δ)))로 개선하며, 다중 클래스 및 회귀 문제로 결과를 확장하고, 함수 클래스에 대한 k-겹 최대값에 대한 피트-산산화 차원과 라데마처 복잡도의 새로운 분석을 제안한다.

ABSTRACT

We consider a model of robust learning in an adversarial environment. The learner gets uncorrupted training data with access to possible corruptions that may be effected by the adversary during testing. The learner's goal is to build a robust classifier, which will be tested on future adversarial examples. The adversary is limited to $k$ possible corruptions for each input. We model the learner-adversary interaction as a zero-sum game. This model is closely related to the adversarial examples model of Schmidt et al. (2018); Madry et al. (2017). Our main results consist of generalization bounds for the binary and multiclass classification, as well as the real-valued case (regression). For the binary classification setting, we both tighten the generalization bound of Feige, Mansour, and Schapire (2015), and are also able to handle infinite hypothesis classes. The sample complexity is improved from $O(\frac{1}{\epsilon^4}\log(\frac{|\mathcal{H}|}{\delta}))$ to $O\big(\frac{1}{\epsilon^2}(\sqrt{k \mathrm{VC}(\mathcal{H})}\log^{\frac{3}{2}+\alpha}(k\mathrm{VC}(\mathcal{H}))+\log(\frac{1}{\delta})\big)$ for any $\alpha > 0$. Additionally, we extend the algorithm and generalization bound from the binary to the multiclass and real-valued cases. Along the way, we obtain results on fat-shattering dimension and Rademacher complexity of $k$-fold maxima over function classes; these may be of independent interest. For binary classification, the algorithm of Feige et al. (2015) uses a regret minimization algorithm and an ERM oracle as a black box; we adapt it for the multiclass and regression settings. The algorithm provides us with near-optimal policies for the players on a given training sample.

연구 동기 및 목표

• 입력당 최대 k개의 손상이 가능한 적대적 손상 하에서 일반화 문제를 다루기 위해.
• Feige 등(2015)의 O(1/ε⁴ log(|H|/δ)) 경계를 개선하여 샘플 복잡도를 감소시키기 위해 바이너리 분류의 기존 일반화 경계를 향상시키기 위해.
• 이론적 일반화 보장을 유지하면서 바이너리 분류에서 다중 클래스 및 실수값(회귀) 설정으로 강건한 학습 프레임워크를 확장하기 위해.
• 적대적 손상 하에서 함수 클래스에 대한 k-겹 최대값의 피트-산산화 차원과 라데마처 복잡도를 분석하기 위해.

제안 방법

• 학습자-적대자 상호작용을 입력당 k개의 손상이 가능한 0-합 게임으로 모델링한다.
• Feige 등(2015)의 회귀 최소화 프레임워크를 다중 클래스 및 회귀 설정으로 적응시키며, ERM 오라클을 블랙박스로 사용한다.
• 함수 클래스의 k-겹 최대값에 대한 피트-산산화 차원과 라데마처 복잡도의 정교한 분석을 통해 일반화 경계를 유도한다.
• 바이너리 분류에 대해 O(1/ε²(√(k·VC(H)) log^{3/2+α}(k·VC(H)) + log(1/δ)))로 척도가 조정된 새로운 샘플 복잡도 경계를 제안한다.
• k-겹 손상 하에서의 강건한 일반화 오차와 함수 클래스의 복잡도 측정치 사이의 이론적 연결을 확립한다.
• 회귀 최소화 프레임워크의 알고리즘적 적응을 통해 주어진 학습 샘플에 대해 학습자와 적대자 모두에게 근사 최적의 정책을 제공한다.

실험 결과

연구 질문

• RQ1 Feige 등(2015)의 O(1/ε⁴ log(|H|/δ)) 경계를 초월하여 강건한 바이너리 분류의 일반화 경계를 향상시킬 수 있는가?
• RQ2 강건한 학습 프레임워크를 바이너리 분류에서 다중 클래스 및 회귀 설정으로 확장하면서도 강력한 일반화 보장을 유지할 수 있는가?
• RQ3 적대적 손상 하에서 함수 클래스에 대한 k-겹 최대값의 피트-산산화 차원과 라데마처 복잡도는 무엇인가?
• RQ4 적대자가 입력당 k개의 손상만 허용할 경우, 강건한 학습의 최적 샘플 복잡도는 무엇인가?
• RQ5 회귀 최소화 알고리즘을 다중 클래스 및 회귀 설정에서 적대적 손상 하에 근사 최적의 정책을 제공하도록 적응시킬 수 있는가?

주요 결과

• 바이너리 분류의 일반화 경계는 O(1/ε⁴ log(|H|/δ))에서 O(1/ε²(√(k·VC(H)) log^{3/2+α}(k·VC(H)) + log(1/δ)))로 개선되었으며, α > 0 인 임의의 α에 대해 성립한다.
• 새로운 경계는 유한 및 무한 함수 클래스 모두에 대해 유효하여 이전 연구의 한계를 극복한다.
• 프레임워크는 성공적으로 다중 클래스 분류 및 회귀로 확장되었으며, 이들 설정에서 일반화 경계를 제공한다.
• 논문은 함수 클래스에 대한 k-겹 최대값의 피트-산산화 차원과 라데마처 복잡도에 대한 새로운 이론적 결과를 도출한다.
• 알고리즘적 접근은 주어진 학습 샘플에 대해 학습자와 적대자 모두에게 근사 최적의 정책을 도출한다.
• 분석을 통해 k-겹 손상 하에서 함수 클래스의 복잡도는 √(k·VC(H))와 로그 인자에 의해 지배되며, 이는 개선된 샘플 복잡도를 형성한다.