[논문 리뷰] The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks

Jakub Świątkowski, Kevin A. Roth외 8명|arXiv (Cornell University)|2020. 02. 07.

Gaussian Processes and Bayesian Inference참고 문헌 51인용 수 22

한 줄 요약

이 논문은 베이지안 신경망에서 가우시안 평균장 변분 사후 분포의 압축된 파arameterization을 위해 후행 표준편차 행렬에 저질서 구조를 강제하는 k-tied 정규분포를 제안한다. 저질서 SVD를 통해 파라미터를 묶음으로써, 변분 파라미터의 수를 줄이고, 기울기의 신호 대 잡음 비율을 향상시키며, 예측 성능을 손상시키지 않고도 훈련 속도를 높인다. 다양한 모델에서 성능이 우수하다.

ABSTRACT

Variational Bayesian Inference is a popular methodology for approximating posterior distributions over Bayesian neural network weights. Recent work developing this class of methods has explored ever richer parameterizations of the approximate posterior in the hope of improving performance. In contrast, here we share a curious experimental finding that suggests instead restricting the variational distribution to a more compact parameterization. For a variety of deep Bayesian neural networks trained using Gaussian mean-field variational inference, we find that the posterior standard deviations consistently exhibit strong low-rank structure after convergence. This means that by decomposing these variational parameters into a low-rank factorization, we can make our variational approximation more compact without decreasing the models' performance. Furthermore, we find that such factorized parameterizations improve the signal-to-noise ratio of stochastic gradient estimates of the variational lower bound, resulting in faster convergence.

연구 동기 및 목표

• 간단하고 압축된 변분 사후 분포의 파라미터화가 베이지안 신경망에서 더 풍부한 파라미터화보다 뛰어난 성능을 낼 수 있는가를 조사하는 것.
• 기본적인 가우시안 평균장 변분 추론에서 높은 파라미터 수와 노이즈가 많은 기울기 문제를 해결하는 것.
• 후행 표준편차에 저질서 구조가 존재할 경우, 성능 손실 없이 효과적인 파라미터 묶음을 가능하게 하는가를 탐색하는 것.
• 기억장과 계산량을 줄이면서도 예측 정확도와 수렴 속도를 유지하는 파라미터화를 개발하는 것.

제안 방법

• k-tied 정규분포는 후행 표준편차 행렬을 저질서 SVD 분해로 파라미터화하여 자유도 파라미터의 수를 줄인다.
• k가 원래 차원보다 훨씬 작은 경우, 가중치 간에 묶인 구조를 표준편차 행렬의 질서-k 분해를 통해 강제한다.
• 이 방법은 평균장 변분 추론에서 대각행렬 공분산에 적용되며, 독립성 가정을 유지하면서도 파라미터 수를 줄인다.
• 변분 파라미터는 기울기 분산이 감소한 파라미터 묶음을 통해 유도 가능한 ELBO의 근사값에 대해 확률적 경사하강법으로 최적화된다.
• 이 방법은 완전히 연결된 층과 합성곱 층 모두와 호환되며, 기존의 분산 감소 기법과 조합할 수 있다.
• 이 방법은 행렬 변수 가우시안 프레임워크에서는 질서 >1 묶음을 표현할 수 없기 때문에, 그것과는 다릅니다.

실험 결과

연구 질문

• RQ1 후행 표준편차 행렬의 저질서 파라미터화가 베이지안 신경망에서 모델 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 파라미터 묶음을 통해 변분 파라미터 수를 줄이면 ELBO 기울기 추정치의 신호 대 잡음 비율이 향상되는가?
• RQ3 다양한 베이지안 신경망 아키텍처에서 학습된 후행 표준편차에 저질서 구조가 일관되게 존재하는가?
• RQ4 압축된 파라미터화가 훈련 속도와 일반화 성능 측면에서 표준 평균장 변분 추론을 능가할 수 있는가?
• RQ5 k-tied 정규분포는 기존의 훈련 기법과 호환되며 더 깊은 모델로도 확장 가능한가?

주요 결과

• 훈련된 베이지안 신경망에서 후행 표준편차 행렬은 일관되게 강한 저질서 구조를 보이며, 효과적인 파라미터 묶음을 가능하게 한다.
• k-tied 정규분포는 변분 파라미터 수를 크게 줄이면서도 ELBO와 예측 성능을 유지하거나 향상시킨다.
• 저질서 SVD를 통한 파라미터 묶기는 확률적 기울기 추정치의 신호 대 잡음 비율을 향상시켜 훈련 중 빠른 수렴을 이끈다.
• 이 방법은 다양한 모델 유형에서 표준 평균장 변분 추론보다 훈련 효율성과 일반화 성능 측면에서 뛰어나다.
• 질서 >1일 경우 k-tied 접근법은 행렬 변수 가우시안 프레임워크 내에서 표현될 수 없으며, 더 표현력이 풍부한 별개의 파라미터화 클래스를 확립한다.
• 이 방법은 기존의 분산 감소 기법과 호환되며, 이를 조합함으로써 훈련 안정성을 더욱 향상시킬 수 있다.