[논문 리뷰] Dichotomize and Generalize: PAC-Bayesian Binary Activated Deep Neural Networks

Gaël Letarte, Pascal Germain외 2명|arXiv (Cornell University)|2019. 05. 24.

Machine Learning and ELM인용 수 11

한 줄 요약

이 논문은 sign 활성화 함수를 사용하는 이진 활성화 딥 네ural 네트워크(BAM 네트워크)를 훈련하기 위한 PAC-Bayesian 프레임워크인 PBGNet을 제안한다. 이는 아키텍처나 마진 가정 없이도 비어 있지 않은 일반화 경계를 제공한다. 가중치 분포에 대해 요약된 경계 인식 손실을 최소화함으로써, 이 방법은 실재 데이터셋에서 경쟁 가능한 정확도를 달성하면서도 i.i.d. 데이터 가정 하에 날카롭고 비어 있지 않은 일반화 보장을 제공한다.

ABSTRACT

We present a comprehensive study of multilayer neural networks with binary activation, relying on the PAC-Bayesian theory. Our contributions are twofold: (i) we develop an end-to-end framework to train a binary activated deep neural network, (ii) we provide nonvacuous PAC-Bayesian generalization bounds for binary activated deep neural networks. Our results are obtained by minimizing the expected loss of an architecture-dependent aggregation of binary activated deep neural networks. Our analysis inherently overcomes the fact that binary activation function is non-differentiable. The performance of our approach is assessed on a thorough numerical experiment protocol on real-life datasets.

연구 동기 및 목표

• 이진(부호) 활성화 함수를 갖는 딥 네럴 네트워크를 위한 이론적으로 탄탄한 훈련 프레임워크를 개발하는 것.
• 단지 i.i.d. 훈련 데이터라는 최소한의 가정 하에 BAM 네트워크에 대해 비어 있지 않은 PAC-Bayesian 일반화 경계를 유도하는 것.
• PAC-Bayesian 프레임워크 내에서 부호 활성화 함수의 비가역성 문제를 극복하기 위해 네트워크의 연속적 집합을 활용하는 것.
• 실세계 이진 분류 데이터셋에서 경쟁 가능한 정확도와 날카운 비어 있지 않은 일반화 경계를 동시에 확보하기 위해 방법을 실증적으로 검증하는 것.
• 예비 훈련과 경계 기반 모델 선택을 활용하여 더 높은 강건성과 일반화 성능을 향상시키는 것.

제안 방법

• 이 방법은 BAM 네트워크의 분포에 대해 기대 손실을 최소화하는 PAC-Bayesian 프레임워크를 사용하며, 네트워크 가중치를 랜덤 변수로 간주한다.
• 후행 및 사전 가중치 분포 간의 Kullback-Leibler 발산과 경험적 위험을 활용해 기대 일반화 오차에 대한 경계를 수립한다.
• 경험적 위험과 정규화된 경계 항목을 조합한 학습 목표를 설정함으로써, 부호 함수의 비가역성에도 불구하고 엔드 투 엔드 훈련이 가능해진다.
• 계산 비용을 줄이기 위해 샘플링 기법을 도입하여, 이론적 보장을 유지하면서도 확장 가능한 방법을 확보한다.
• 선형 분류기의 PAC-Bayesian 경계에 대한 이전 연구를 활용하고, 이를 이진 활성화 기반의 딥 아키텍처로 확장한다.
• 모델 선택은 일반화 경계 값 자체를 기준으로 삼아, 낮은 오차와 날카운 이론적 보장을 동시에 확보하는 모델을 선호한다.

실험 결과

연구 질문

• RQ1 최소한의 가정(단지 i.i.d. 훈련 데이터) 하에 이진(부호) 활성화 함수를 갖는 딥 네럴 네트워크에 대해 비어 있지 않은 PAC-Bayesian 일반화 경계를 도출할 수 있는가?
• RQ2 PAC-Bayesian 최적화 프레임워크 내에서 부호 활성화 함수의 비가역성 문제는 어떻게 다룰 수 있는가?
• RQ3 경험적 위험과 일반화 경계를 동시에 최소화하는 학습 알고리즘을 설계할 수 있는가? 이는 강건성 향상에 기여하는가?
• RQ4 일반화 경계를 모델 선택 기준으로 사용할 경우, 테스트 오차와 일반화 갭에 어떤 영향을 미치는가?
• RQ5 예비 훈련을 통해 소규모 데이터셋에서의 성능과 일반화 보장이 향상될 수 있는가?

주요 결과

• PBGNet은 MNIST와 Adult와 같은 실재 데이터셋에서 경쟁 가능한 테스트 오차율을 달성하며, MNIST17에서는 최소 0.004, Adult에서는 0.149의 오차율을 기록한다.
• 95% 신뢰도로 비어 있지 않은 일반화 경계를 제공하며, MNIST17에서는 최소 0.010, Adult에서는 0.164의 경계 값이 기록된다.
• 경계를 비용 함수로 사용한 PBGNet ℓ-bnd는 일반화 경계를 더욱 날카롭게 만들며(예: Ads에서 0.060), 경쟁 가능한 테스트 정확도를 유지한다.
• 경계 값까지 포함한 모델 선택 절차는 학습-테스트 오차 갭을 줄여 과적합에 대한 강건성을 향상시킨다.
• 예비 훈련은 소규모 데이터셋인 Ads에서 성능 향상을 크게 이끌어내며, 이 경우 경계 값은 0.060으로 낮아지고 테스트 오차는 0.033로 낮게 유지된다.
• 이 방법은 일반화 성능와 계산 비용 사이의 유리한 트레이드오���을 보이며, 샘플링 기법을 통해 훈련 시간을 줄였다.