[논문 리뷰] Convergence Rates of Variational Inference in Sparse Deep Learning

Badr-Eddine Chérief-Abdellatif|arXiv (Cornell University)|2019. 08. 09.

Gaussian Processes and Bayesian Inference참고 문헌 74인용 수 12

한 줄 요약

이 논문은 희소 딥 러닝에서의 변분 추론(VI)이 호일더-스무쓰 함수를 추정할 때 최소최대 수렴 속도에 가까운 성능을 달성하며, 정확한 베이지안 추론의 일반화 성능을 재현함을 입증한다. 편향-분산 트레이드오프를 통해 추정 이론과 근사 이론을 연결하고, ELBO 최대화를 통한 스파이크-슬랩 사전분포를 사용함으로써, 모델 오Specification에도 불구하고 과적합 없이 최적의 수렴 속도를 자동으로 달성한다.

ABSTRACT

Variational inference is becoming more and more popular for approximating intractable posterior distributions in Bayesian statistics and machine learning. Meanwhile, a few recent works have provided theoretical justification and new insights on deep neural networks for estimating smooth functions in usual settings such as nonparametric regression. In this paper, we show that variational inference for sparse deep learning retains the same generalization properties than exact Bayesian inference. In particular, we highlight the connection between estimation and approximation theories via the classical bias-variance trade-off and show that it leads to near-minimax rates of convergence for Hölder smooth functions. Additionally, we show that the model selection framework over the neural network architecture via ELBO maximization does not overfit and adaptively achieves the optimal rate of convergence.

연구 동기 및 목표

• 희소 딥 신경망에서의 변분 추론에 대한 이론적 수렴 속도를 확립하는 것.
• VI가 매끄러운 함수 추정에서 정확한 베이지안 추론과 동일한 일반화 성질을 유지하는지 보여주는 것.
• 딥 러닝 맥락에서 편향-분산 트레이드오프를 통해 추정 이론과 근사 이론을 연결하는 것.
• 신경망 아키텍처에서 ELBO 최대화가 과적합을 피하고 최적의 수렴 속도에 적응하는지 보여주는 것.
• 희소성 제약 조건 하에서 스파이크-슬랩 사전분포가 최적의 수렴 속도를 달성하는 데 효과적인지 검증하는 것.

제안 방법

• 신경망 가중치에 스파이크-슬랩 사전분포를 적용하여 희소성을 유도하고, 드롭아웃의 베이지안적 대체물로 모방하는 것.
• 재설정 기법을 활용한 완전 분산 가우시안 근사로 기반 기반 경량화된 기울기 기반 최적화를 위한 변분 추론을 적용하는 것.
• 근사 사후분포를 학습하기 위해 증거 하한값(ELBO)을 최대화하는 것.
• 변분 사후분포와 진짜 사후분포 사이의 KL 발산을 유계함으로써 수렴 속도를 유도하는 것.
• 커버링 추론과 농도 불등식을 사용하여 변분 사후분포가 진짜 사후분포에서 벗어나지 않도록 통제하는 것.
• 모델 근사에서 비롯된 편향과 사후 근사에서 비롯된 분산 간의 트레이드오프를 분석하여 근사 최소최대 수렴 속도를 도출하는 것.

실험 결과

연구 질문

• RQ1 희소 딥 러닝에서의 변분 추론이 호일더-스무쓰 함수에 대해 근사 최소최대 수렴 속도를 달성할 수 있는가?
• RQ2 딥 네트워크의 변분 추론 수렴 성질에서 편향-분산 트레이드오프는 어떻게 나타나는가?
• RQ3 신경망 아키텍처에서 ELBO 최대화가 과적합을 유도하는가 아니면 최적의 적응 수렴 속도를 달성하는가?
• RQ4 딥 네트워크에서의 스파이크-슬랩 사전분포가 희소성 조건 하에서 최적의 일반화 성능을 보장할 수 있는가?
• RQ5 딥 베이지안 학습 맥락에서 근사 이론과 추정 이론 간의 이론적 연결 고리는 무엇인가?

주요 결과

• 희소 딥 러닝에서의 변분 추론은 호일더-스무쓰 함수에 대해 근사 최소최대 수렴 속도를 달성하며, 정확한 베이지안 추론의 최적 수렴 속도와 일치한다.
• 모델 복잡성에도 불구하고, ELBO 최대화를 통해 목표 함수의 알려지지 않은 스무쓰함에 적응하여 과적합을 피하는 성능을 보인다.
• 분석에서의 편향-분산 분해는 최적의 트레이드오프를 이끌어내며, 사후 근사의 농도 경계를 통해 분산 항이 통제된다.
• 변분 사후분포와 사전분포 사이의 KL 발산은 S(log n) 비례하는 항으로 유계되며, 여기서 S는 희소성 수준이고 n은 표본 크기이다.
• 적절한 네트워크 깊이와 너비 조건 하에서 수렴 속도는 로그 인자까지 최적이며, 최종 유계는 O(1/n) 비례로 나타난다.
• 이론적 프레임워크는 스파이크-슬랩 사전분포를 딥 네트워크에 적용할 경우 드롭아웃의 원리적인 대체 수 Mittel로써의 유효성을 뒷받침한다. 이는 적응적이고 최적의 일반화 성능을 달성한다.