[논문 리뷰] On Margins and Derandomisation in PAC-Bayes

Felix Biggs, Benjamin Guedj|arXiv (Cornell University)|2021. 07. 08.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 마진 기반 측도 집중 이론을 사용하여 PAC-Bayesian 일반화 경계를 결정론적화하는 통합 프레임워크를 제안한다. 이는 선형 분류기, erf 활성화를 가지는 단일 은닉층 신경망, 그리고 딥 ReLU 네트워크에 대해 더 날카우며 단순한 경계를 가능하게 한다. 주요 기여는 명시적인 상수와 간결한 증명을 제공하는 마진 기반 결정론적화 기법이며, 빈약한 집중 성질을 가진 복잡한 설정에서 강건성을 확보하기 위해 부분 결정론적화를 도입한다.

ABSTRACT

We give a general recipe for derandomising PAC-Bayesian bounds using margins, with the critical ingredient being that our randomised predictions concentrate around some value. The tools we develop straightforwardly lead to margin bounds for various classifiers, including linear prediction -- a class that includes boosting and the support vector machine -- single-hidden-layer neural networks with an unusual \(\erf\) activation function, and deep ReLU networks. Further, we extend to partially-derandomised predictors where only some of the randomness is removed, letting us extend bounds to cases where the concentration properties of our predictors are otherwise poor.

연구 동기 및 목표

• PAC-Bayesian 학습에서 결정론적 예측자에 대해 날카우며 해석 가능한 일반화 경계를 도출하는 데 도전하는 것.
• 랜덤화된 예측자에서 마진 기반 강건성과 측도 집중 간의 관계를 체계화하는 것.
• 기존 결정론적화 기법이 실패하는 설정, 특히 딥 신경망에 대해 PAC-Bayesian 경계를 확장하는 것.
• 전체 결정론적화가 빈약한 집중 성질로 인해 불가능한 경우에 부분 결정론적화를 민첩한 대안으로 도입하는 것.
• 기존 마진 기반 경계의 증명을 단순화하고 상수를 개선하는 것, 특히 선형 및 ReLU 네트워크의 경우에 중점적으로

제안 방법

• 결정론적 예측 규칙 주위에 집중하는 랜덤화된 예측자에 대한 대체 분포를 구성함으로써 결정론적화를 달성하며, 이 집중은 마진 크기에 의해 제어된다.
• 이 방법은 랜덤화된 예측자와 평균 간의 편차를 모델링하기 위해 서브-가우시안 랜덤 변수의 일반화를 사용하며, 이는 고확률 집중 경계를 가능하게 한다.
• 핵심 혁신은 일부 가중치만 결정론화하는 부분 결정론적화의 사용으로, 약한 집중 성질을 가진 경우에도 경계를 도출할 수 있도록 한다.
• 프레임워크는 랜덤화된 예측자의 편차를 제어하기 위해 측도 집중 부등식을 활용하며, 결정론적 경계를 고확률 보장을 갖는 것으로 대체한다.
• 딥 ReLU 네트워크의 경우, Neyshabur 등 (2018)의 증명 구조를 기반으로 하되 약간 개선하여 가중치 노름과 마진 파라미터에 대한 더 날카운 의존성을 확보한다.
• 이 방법은 선형 예측, 랜덤화된 특징 매핑, erf 활성화를 가지는 네트워크, 그리고 딥 ReLU 네트워크에 적용되어 각 경우에 대해 새로운 또는 단순화된 경계를 도출한다.

실험 결과

연구 질문

• RQ1 마진 기반 집중을 활용하여 PAC-Bayesian 경계를 체계적으로 결정론화할 수 있는가?
• RQ2 집중 성질이 결정론적 예측자에 대한 더 날카운 일반화 경계 도출에 어떤 역할을 하는가?
• RQ3 부분 결정론적화는 집중 성질이 열악한 모델에 대해 PAC-Bayesian 경계의 적용 가능성을 확장할 수 있는가?
• RQ4 차원 의존성과 날카움 측면에서 마진 기반 경계는 커버링 수 기반 접근법과 어떻게 비교되는가?
• RQ5 이 프레임워크는 기존 선형 및 딥 신경망의 마진 기반 경계를 단순화하거나 개선할 수 있는가?

주요 결과

• 논문은 Bartlett와 Shawe-Taylor (1998)의 결과를 향상시키고 Grønlund 등 (2020)의 하한과 같은 순서를 유지하는 새로운 $L_2$-정규화 선형 분류 경계를 유도한다. 이 경계는 명시적이고 작은 상수를 가진다.
• 단일 은닉층 신경망에 대해 erf 활성화를 사용할 경우, 혼합 분포 기반 대체 예측자(Proxy Predictor)를 사용하는 새로운 마진 기반 경계를 도출하여 이전에 다루지 않은 설정에서의 결정론적화를 가능하게 한다.
• 딥 ReLU 네트워크의 경우, Neyshabur 등 (2018)의 결과를 약간 향상시키며, 가중치 노름과 마진 파라미터에 대한 더 날카운 의존성을 확보한다.
• 부분 결정론적화를 통해 초기 레이어의 집중 성질이 열악한 딥 네트워크의 경우에도 경계를 도출할 수 있으며, 이는 적용 가능성을 확장한다.
• 기존 커버링 기반 접근법이 비효율적인 차원 의존성을 초래한다는 점이 드러나며, 신경망에서 더 나은 집중 경계가 필요함을 시사한다.
• 저자들은 더 날카운 집중 경계가 직접적으로 더 나은 마진 기반 일반화 경계를 이끌 수 있음을 보여주며, 향후 연구의 핵심 방향성을 제안한다.