[논문 리뷰] Robustness Implies Generalization via Data-Dependent Generalization Bounds

Kenji Kawaguchi, Zhun Deng외 2명|arXiv (Cornell University)|2022. 06. 27.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 랜덤 프로젝션을 활용해 적응형 파artition를 구축하고, 다항분포 랜덤 변수에 대한 향상된 농도 불등식을 도입함으로써, 가설 공간에 대한 의존성을 제거하고 커버링 수 K에 대한 의존성을 크게 줄인 새로운 데이터에 의존하는 일반화 경계를 제안한다. 이를 통해 라소와 딥 러닝 모델에 대해 일반화 경계에서 거의 지수 수준의 향상을 달성하였으며, 실제 데이터와 이론적 모델을 통해 검증되었다.

ABSTRACT

This paper proves that robustness implies generalization via data-dependent generalization bounds. As a result, robustness and generalization are shown to be connected closely in a data-dependent manner. Our bounds improve previous bounds in two directions, to solve an open problem that has seen little development since 2010. The first is to reduce the dependence on the covering number. The second is to remove the dependence on the hypothesis space. We present several examples, including ones for lasso and deep learning, in which our bounds are provably preferable. The experiments on real-world data and theoretical models demonstrate near-exponential improvements in various situations. To achieve these improvements, we do not require additional assumptions on the unknown distribution; instead, we only incorporate an observable and computable property of the training samples. A key technical innovation is an improved concentration bound for multinomial random variables that is of independent interest beyond robustness and generalization.

연구 동기 및 목표

• 2010년 이후 지속된, 알고리즘 강건성 경계에서 커버링 수 K에 대한 제곱근 의존성을 줄이는 데 있어 오랫동안 열려 있던 문제를 해결한다.
• 이전 일반화 경계의 적용 범위를 제한하는 가설 공간에 대한 의존성을 제거한다.
• 학습 샘플의 관측 가능하고 계산 가능한 성질을 활용하는 데이터에 의존하는 프레임워크를 개발하여 일반화 보장을 향상시킨다.
• 특히 라소와 딥 러닝에 대해 고차원 설정에서 강건성과 일반화 간의 관계를 더 엄밀하게 증명할 수 있는 경계를 제공한다.
• 일반화 이론 외부에서도 독립적인 관심을 끌 만한 새로운 다항분포 랜덤 변수에 대한 농도 불등식을 도입한다.

제안 방법

• 표준 K-의존 항을 대체하기 위해 랜덤 프로젝션에 기반한 보다 정교하고 적응형 파artition 기반의 데이터에 의존하는 일반화 경계를 제안한다.
• 고차원 입력 공간을 낮은 차원 공간으로 매핑하기 위해 랜덤 행렬 프로젝션을 사용하고, 이를 통해 얻은 공간에 대해 ε-커버링을 적용하여 사전 파artition를 정의한다.
• 최종 파artition를 투영된 공간의 커버링의 역상으로 정의함으로써 원래 공간의 직접적인 커버링에 비해 K를 감소시킨다.
• 다항분포 랜덤 변수에 대한 새로운 농도 부등식을 도입하여 K에 대한 의존성을 √K에서 로그 또는 다항식 이하의 항으로 향상시킨다.
• 향상된 농도 불등식을 적용하여, √K가 아닌 ε(S)와 K의 감소된 함수에 비례하는 더 날카운 일반화 오차 경계를 도출한다.
• 실제 데이터 세트(예: Semeion, MNIST)와 시뮬레이션 모델을 사용하여 방법을 검증하고, 다양한 데이터 분포에서 K와 일반화 오차를 비교한다.

실험 결과

연구 질문

• RQ1 알고리즘 강건성 기반 일반화 경계에서 커버링 수 K에 대한 의존성을 데이터 분포에 대한 추가 가정 없이 크게 줄일 수 있는가?
• RQ2 가설 공간에 대한 의존성을 제거하면 고차원 학습 문제에서 더 날카우며 실용적인 일반화 경계를 얻을 수 있는가?
• RQ3 랜덤 프로젝션을 사용해 적응형 파artition를 구성함으로써 기존의 ε-커버링보다 더 엄밀한 일반화 경계를 확보할 수 있는가?
• RQ4 제안된 다항분포 랜덤 변수에 대한 농도 불등식은 K-의존성과 적용 가능성 면에서 기존의 것보다 뛰어나다고 할 수 있는가?
• RQ5 새로운 데이터에 의존하는 경계가 실제 딥 러닝 및 라소 모델에서 이전의 경계를 능가하는가?

주요 결과

• 제안된 일반화 경계는 특히 고차원 설정에서 K-의존성 측면에서 이전 경계에 비해 거의 지수 수준의 향상을 달성한다.
• 경계는 가설 공간에 대한 의존성을 완전히 제거하여 라소와 딥 뉴럴 네트워크를 포함한 더 넓은 모델 클래스에 적용 가능하게 한다.
• 실제 데이터와 시뮬레이션 모델에 대한 실험 결과, 새로운 경계가 기존 경계보다 엄밀하고 유리한 경향을 보였다.
• 입력 공간에 직접 커버링을 적용하는 것에 비해, 랜덤 프로젝션을 통한 파artition 정의가 차원 d가 증가함에 따라 K를 크게 감소시킨다.
• 다항분포 변수에 대한 향상된 농도 불등식은 K-의존성을 √K에서 다항식 이하 또는 로그 항으로 감소시켜 오랫동안 열려 있던 문제를 해결한다.
• 라소와 딥 러닝 모델에 대해 더 날카운 일반화 경계를 달성하였으며, 실증적 검증을 통해 다양한 데이터 세트와 분포에서 일관된 향상이 관찰되었다.