[논문 리뷰] Efficient Variational Inference for Sparse Deep Learning with Theoretical Guarantee

Jincheng Bai, Qifan Song외 1명|arXiv (Cornell University)|2020. 11. 15.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 베르누이 분포의 연속적 근사화를 사용한 스파이크-앤드-슬랩 사전분포를 적용한 계산적으로 효율적인 변분 베이즈 방법을 제안한다. 이는 희소 딥 네ural 네트워크에 적용되며, 최적의 수렴 속도를 갖는 이론적 사후 일致성을 확립하고, 다층 네트워크 및 실제 데이터셋에서의 불확실성 측정과 일관된 변수 선택에서 뛰어난 성능을 보인다.

ABSTRACT

Sparse deep learning aims to address the challenge of huge storage consumption by deep neural networks, and to recover the sparse structure of target functions. Although tremendous empirical successes have been achieved, most sparse deep learning algorithms are lacking of theoretical support. On the other hand, another line of works have proposed theoretical frameworks that are computationally infeasible. In this paper, we train sparse deep neural networks with a fully Bayesian treatment under spike-and-slab priors, and develop a set of computationally efficient variational inferences via continuous relaxation of Bernoulli distribution. The variational posterior contraction rate is provided, which justifies the consistency of the proposed variational Bayes method. Notably, our empirical results demonstrate that this variational procedure provides uncertainty quantification in terms of Bayesian predictive distribution and is also capable to accomplish consistent variable selection by training a sparse multi-layer neural network.

연구 동기 및 목표

• 기존의 희소 딥 러닝 방법들, 특히 변분 추론 프레임워크에서 이론적 지원의 부족을 해결하기 위해.
• 희소성을 유지하면서도 이론적 일치성을 보장하는 계산적으로 효율적인 베이지안 추론 방법을 개발하기 위해.
• 희소 딥 네ural 네트워크에서 베이지안 예측 분포를 통해 불확실성 측정을 가능하게 하기 위해.
• 스파이크-앤드-슬랩 사전분포와 적절한 초모수 캘리브레이션을 활용해 다층 네트워크에서 일관된 변수 선택을 달성하기 위해.
• 계산적 효율성과 통계적 일관성을 결합하여 이론적 희소 딥 러닝과 실용적이고 확장 가능한 추론 사이의 격차를 메우기 위해.

제안 방법

• 딥 네럴 네트워크의 모든 가중치와 편향에 스파이크-앤드-슬랩 사전분포를 적용하며, 스파이크 성분은 가중치를 0으로 강제하고 슬랩 성분은 비영인 값을 允허한다.
• 변분 추론에서의 미분 가능 최적화를 가능하게 하기 위해 베르누이 분포의 연속적 근사화를 사용하여 이산 샘플링을 피한다.
• 진짜 사후분포를 희소 네트워크 구조에 대해 근사하기 위해 변분 추론을 적용하여, 베이지안 추론을 최적화 문제로 변환한다.
• 적절한 초모수 설정 하에서 방법의 일관성을 이론적으로 정당화하기 위해 변분 사후 수축 속도를 유도한다.
• 재파라미터라이제이션 트릭과 확률적 경량 최적화 방법(예: Adam)을 사용하여 변분 목표함수를 효율적으로 최적화한다.
• 간선 활성화의 사전 확률을 조정하여 추정 오차, 변분 오차, 근사 오차의 균형을 이루며, 최적의 수렴 속도를 달성한다.

실험 결과

연구 질문

• RQ1 완전한 베이지안 접근법이 희소 딥 러닝에서 계산적 효율성과 이론적 일치성을 동시에 달성할 수 있는가?
• RQ2 변분 추론에서의 베르누이 분포 연속적 근사화가 진짜 사후분포의 희소성 구조를 유지하는가?
• RQ3 제안된 방법이 다중 히든 레이어를 가진 딥 네트워크에서 일관된 변수 선택을 달성할 수 있는가?
• RQ4 다양한 초모수 설정 하에서 변분 사후 수축 속도는 어떻게 행동하는가? 최적의 속도를 달성하는가?
• RQ5 이 방법은 외부 분포 입력에 대해 베이지안 예측 분포를 통해 신뢰할 수 있는 불확실성 측정을 제공할 수 있는가?

주요 결과

• 제안된 방법은 모든 UCI 회귀 데이터셋에서 최고의 테스트 RMSE를 기록하며, Kin8nm(0.08 ± 0.00), Naval(0.00 ± 0.00), Power Plant(4.01 ± 0.18)를 포함하여 높은 희소성(예: Naval의 경우 82.9%)을 유지한다.
• MNIST 데이터셋에서, 이 방법은 모호한 겹쳐진 이미지에 대해 불확실성을 반영하는 확률적 출력을 생성하는 데서 뛰어난 불확실성 측정 성능를 보이며, 빈도주의 기반 방법의 결정론적 예측과 대비된다.
• Fashion-MNIST 데이터셋에서, 이 방법은 80 에포크 이후에도 전체 베이지안 기반 방법(VBNN)보다 높은 테스트 정확도를 유지하지만, 전체 BNN은 과적합 문제를 겪는다.
• 이 방법은 다중 레이어 네트워크에서 일관된 서포트 복구를 달성하며, 변수 선택 과제에서 단일 레이어 방법보다 뛰어난 성능을 보인다.
• 사후 희소성은 잘 제어되고 해석 가능하며, Kin8nm의 경우 64.5%, Naval의 경우 82.9%, Year(90 features)의 경우 20.8%로 보고되어 효과적인 구조 복원이 이루어졌음을 나타낸다.
• 이론적 분석을 통해 변분 사후 수축 속도가 적절한 초모수 조정 하에서 추정 오차, 변분 오차, 근사 오차의 최적 균형을 달성함을 확인하였다.