[논문 리뷰] De-randomized PAC-Bayes Margin Bounds: Applications to Non-convex and Non-smooth Predictors

Arindam Banerjee, Tiancong Chen외 1명|arXiv (Cornell University)|2020. 02. 23.

Machine Learning and Algorithms참고 문헌 88인용 수 5

한 줄 요약

이 논문은 ReLU 네트워크와 같은 결정론적이고 비볼록적이며 비연속적인 예측기의 경우, 전역 리프시츠 상수에 의존하지 않고 입력에 따라 변하는 부드러움을 활용함으로써, 큰 리프시츠 상수에 의존하지 않는 비확률적 PAC-Bayes 마진 경계를 제안한다. 핵심 기여는 가중치 초기화로부터의 거리와 효과적 곡률 사이의 트레이드오프를 반영한 비균일 일반화 경계로, MNIST 및 CIFAR-10에서 깊이, 너비, 배치 크기가 다양한 조건에서 경험적으로 검증되었다.

ABSTRACT

In spite of several notable efforts, explaining the generalization of deterministic non-smooth deep nets, e.g., ReLU-nets, has remained challenging. Existing approaches for deterministic non-smooth deep nets typically need to bound the Lipschitz constant of such deep nets but such bounds are quite large, may even increase with the training set size yielding vacuous generalization bounds. In this paper, we present a new family of de-randomized PAC-Bayes margin bounds for deterministic non-convex and non-smooth predictors, e.g., ReLU-nets. Unlike PAC-Bayes, which applies to Bayesian predictors, the de-randomized bounds apply to deterministic predictors like ReLU-nets. A specific instantiation of the bound depends on a trade-off between the (weighted) distance of the trained weights from the initialization and the effective curvature (`flatness') of the trained predictor. To get to these bounds, we first develop a de-randomization argument for non-convex but smooth predictors, e.g., linear deep networks (LDNs), which connects the performance of the deterministic predictor with a Bayesian predictor. We then consider non-smooth predictors which for any given input realized as a smooth predictor, e.g., ReLU-nets become some LDNs for any given input, but the realized smooth predictors can be different for different inputs. For such non-smooth predictors, we introduce a new PAC-Bayes analysis which takes advantage of the smoothness of the realized predictors, e.g., LDN, for a given input, and avoids dependency on the Lipschitz constant of the non-smooth predictor. After careful de-randomization, we get a bound for the deterministic non-smooth predictor. We also establish non-uniform sample complexity results based on such bounds. Finally, we present extensive empirical results of our bounds over changing training set size and randomness in labels.

연구 동기 및 목표

• 클래식한 경계가 리프시츠 기반 복잡성 항목으로 인해 빈약한 결과를 낳는 결정론적 비연속 딥 네트워크(예: ReLU-네트)의 일반화를 설명하는 데 도전한다.
• 기존의 PAC-Bayes 경계가 베이지안 예측기에게만 적용된다는 한계를 극복하기 위해, 결정론적 모델에 적용 가능한 비확률화 프레임워크를 개발한다.
• 가중치 초기화로부터의 L2 거리와 예측기의 효과적 곡률(평탄함) 사이의 트레이드오프에 기반한 비균일 일반화 경계를 개발한다.
• 네트워크 깊이, 너비, 학습 배치 크기의 변화에 대해 이론적이고 경험적으로 타당성을 입증하며, 마이크로배치 학습을 포함한다.
• 입력에 특화된 부드러움(즉, LDN 실현)을 활용한 PAC-Bayes 분석을 제공하여, 비연속 네트워크의 전역 리프시츠 상수에 대한 의존성을 피한다.

제안 방법

• 스토캐스틱 편향 프레임워크를 통해 결정론적 예측기와 베이지안 예측기 간의 연결을 통해 부드러운 예측기의 비확률화 추론을 제안한다.
• ReLU-네트와 같은 비연속 예측기의 경우, 각 입력이 서로 다른 부드러운 선형 딥 네트워크(LDN)를 유도하도록 모델링하여 局소 부드러움 기반 분석을 가능하게 한다.
• 가중치 초기화로부터의 가중치 거리와 예측기의 효과적 곡률(Hessian 기반 평탄함)에 따라 달라지는 PAC-Bayes 마진 경계를 유도한다.
• 학습 샘플 수로 정규화된 마진 손실, 곡률, 가중치 노름 항목을 조합한 척도 불변 일반화 경계를 도입한다.
• 완전한 헤시안 행렬 계산을 피하기 위해 헤시안 대각 성분을 사용해 효과적 곡률을 추정함으로써 효율적인 경험적 평가를 가능하게 한다.
• 각 특정 예측기에서 높은 확률로 성립하는 경계를 유도함으로써 비균일 샘플 복잡도 결과를 확립한다. 이는 모든 예측기 전체에 대해 균일하게 성립하는 것이 아니라 특정 예측기에서만 성립한다.

실험 결과

연구 질문

• RQ1 전역 리프시츠 상수에 의존하지 않고, 결정론적 비연속 딥 네트워크(예: ReLU-넷)에 적용 가능한 PAC-Bayes 경계를 비확률화할 수 있는가?
• RQ2 가중치 초기화로부터의 거리와 국소 곡률 사이의 트레이드오프를 통해 결정론적 ReLU 네트워크의 일반화 오차를 어떻게 경계할 수 있는가?
• RQ3 제안된 비확률화 경계는 레이블 무작위화 및 다양한 학습 데이터 크기 조건에서도 여전히 날카롭고 유의미한가?
• RQ4 MNIST 및 CIFAR-10에서 다양한 네트워크 아키텍처(깊이, 너비)와 학습 제어 방식(배치 크기, 마이크로배치)에 대해 이 경계를 효과적으로 계산하고 경험적으로 검증할 수 있는가?
• RQ5 경계의 구성 요소들(곡률, 마진 손실, 가중치 노름)과 실제 테스트 오차 사이의 관계는 무엇인가?

주요 결과

• 제안된 비확률적 PAC-Bayes 경계는 MNIST 및 CIFAR-10에서 학습 데이터 수를 100에서 10,000으로 늘일수록 감소함을 확인하여, 데이터가 증가할수록 일반화 성능이 향상됨을 시사한다.
• 이 경계는 네트워크 깊이(예: 2, 4, 8, 128, 256, 512)와 너비(예: 128, 256, 384, 512)의 변화에 대해 여전히 유효하고 유의미하며, 넓은 아키텍처 적용 가능성을 보여준다.
• 마이크로배치 학습(배치 크기 = 16) 조건에서도 경계가 유지되며, 학습 제어 방식 변화에 대해 강건하고 날카운 경계를 유지함을 보여준다.
• 헤시안 대각 성분에서 유도된 효과적 곡률 항목은 일반화 성능과 상관관계가 있으며, 경계의 날카움에 크게 기여한다.
• 마진 손실, 곡률, 정규화된 가중치 노름을 조합한 척도 불변 일반화 경계는 학습 진행과 데이터 크기 증가에 따라 일관되게 감소함을 보였다.
• 경험적 결과는 경계가 테스트 오차 추세를 잘 따라가며, 학습이 진행될수록 경계와 그 구성 요소들이 감소하는 경향을 보여, 이 경계의 이론적 타당성을 검증한다.