[논문 리뷰] Posterior Concentration for Sparse Deep Learning

Nicholas G. Polson, Veronika Ročková|arXiv (Cornell University)|2018. 03. 24.

Domain Adaptation and Few-Shot Learning인용 수 20

한 줄 요약

이 논문은 스파이크-슬래브 딥 러닝(SS-DL)을 제안하며, 이는 깊이 있는 ReLU 네트워크를 정규화하기 위해 흩어짐을 유도하는 사전을 사용하는 완전한 베이지안 방법이다. 이는 α-홀더 스무쓰함 함수에 대해 근미니멀 속도에 가까운 최적의 사후 농도를 달성한다. 이 방법은 사전 지식 없이도 알려지지 않은 스무쓰함 수준을 적응적으로 복원할 수 있으며, 일반화 및 모델 선택에서 이론적 최적성을 입증한다.

ABSTRACT

Spike-and-Slab Deep Learning (SS-DL) is a fully Bayesian alternative to Dropout for improving generalizability of deep ReLU networks. This new type of regularization enables provable recovery of smooth input-output maps with unknown levels of smoothness. Indeed, we show that the posterior distribution concentrates at the near minimax rate for $α$-Hölder smooth maps, performing as well as if we knew the smoothness level $α$ ahead of time. Our result sheds light on architecture design for deep neural networks, namely the choice of depth, width and sparsity level. These network attributes typically depend on unknown smoothness in order to be optimal. We obviate this constraint with the fully Bayes construction. As an aside, we show that SS-DL does not overfit in the sense that the posterior concentrates on smaller networks with fewer (up to the optimal number of) nodes and links. Our results provide new theoretical justifications for deep ReLU networks from a Bayesian point of view.

연구 동기 및 목표

• 기본 함수의 알려지지 않은 스무쓰함 수준에 적응할 수 있는 완전한 베이지안 딥 러닝 프레임워크를 개발하는 것.
• 함수의 스무쓰함 수준에 대한 사전 지식 없이도 최적의 네트워크 아키텍처 설계(깊이, 너비, 흩어짐)에 도전하는 것.
• 비모수 베이지안 프레임워크에서 사후 농도율을 통해 깊이 있는 ReLU 네트워크에 대한 이론적 근거를 제공하는 것.
• SS-DL가 과적합을 피하기 위해 활성 노드와 연결 수가 적은 최적의 네트워크에 집중함으로써 과적합을 방지함을 보여주는 것.

제안 방법

• 이 방법은 네트워크 가중치와 연결 패턴에 대해 스파이크-슬래브 사전을 사용하여 흩어진 아키텍처들 사이의 베이지안 모델 평균화를 가능하게 한다.
• 깊이 있는 ReLU 네트워크는 가중치 및 연결 수준에서 흩어짐을 유도하는 계층적 사전 구조를 사용하여 모델링된다.
• 사후 분포는 체계적 사전과 메트릭 엔트로피 추론을 통해 농도율을 분석한다.
• 이론적 분석은 깊이 있는 ReLU 네트워크의 근사 이론(Schmidt-Hieber, 2017)을 활용하여 함수 클래스의 복잡도를 제한한다.
• 농도율은 커버링 수 제약과 사전 농도 부등식을 사용하여 유도되며, 이는 사후 수축이 최적 속도에서 이루어지도록 보장한다.
• 이 프레임워크는 네트워크 레이어 내부에 ℓ₀ 펜alties를 통합하여 적응형 부분집합 선택과 사후 확률을 통한 모델 평균화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 완전한 베이지안 딥 러닝 모델이 알려지지 않은 스무쓰함 수준에 대해 깊이 있는 ReLU 네트워크에서 최적의 사후 농도율을 달성할 수 있는가?
• RQ2 스파이크-슬래브 정규화는 일반화 및 모델 선택 측면에서 드롭아웃과 비교해 어떻게 다른가?
• RQ3 사후 분포가 복잡한 아키텍처에 과적합하는 대신 더 작은 최적의 네트워크에 집중하는가?
• RQ4 이 방법은 사전에 α를 알지 못해도 α-홀더 스무쓰 함수를 적응적으로 복원할 수 있는가?
• RQ5 흩어짐을 유도하는 사전을 갖는 깊이 있는 비선형 모델에서 사후 농도에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 사후 분포는 α-홀더 스무쓰 맵에 대해 근미니멀 속도에 가까운 속도로 농도를 보이며, 스무쓰함 수준 α가 사전에 알려져 있는 것처럼 최적의 성능을 달성한다.
• 진정한 스무쓰함 수준이 알려지지 않은 상태에서도 이 방법은 최적의 사후 농도를 달성하며, 적응적 복원을 보여준다.
• SS-DL는 활성 노드와 연결 수가 적은 더 작은 네트워크에 집중함으로써 과적합을 피한다.
• 사후 농도율은 d > 0에 대해 e^(-d n ε_n²)로 제한되며, ε_n ~ n^(-α/(2α+p))로 표현되며, 이는 미니멀 속도와 일치한다.
• 사전는 정확한 네트워크 크기와 흩어짐 패턴에 충분한 질량을 할당하여, 사후가 진정한 함수 주위에 최적 속도로 수축함을 보장한다.
• 이론적 분석은 체계적 사전 복잡도가 n^(p/(2α+p)) log²(n)로 제한됨을 확인하며, 이는 최적의 사후 농도와 호환된다.