[논문 리뷰] Structured and Efficient Variational Deep Learning with Matrix Gaussian Posteriors

Christos Louizos, Max Welling|arXiv (Cornell University)|2016. 03. 15.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 95

한 줄 요약

이 논문은 가중치 행렬의 행과 열 간 상관관계를 모델링하기 위해 행렬 변수 정규분포 사후분포를 사용하는 변분 베이지안 신경망을 제안한다. 이는 효율적인 불확실성 추정과 향상된 일반화를 가능하게 한다. 국소 재구성 기법과 가짜 데이터를 활용하여 모델은 가우시안 프로세스 유사 행동을 보이며, 완전히 인수분해된 사후분포와 드롭아웃보다 회귀 및 분류 과제에서 더 나은 불확실성 캘리브레이션과 낮은 오차율을 달성한다.

ABSTRACT

We introduce a variational Bayesian neural network where the parameters are governed via a probability distribution on random matrices. Specifically, we employ a matrix variate Gaussian \cite{gupta1999matrix} parameter posterior distribution where we explicitly model the covariance among the input and output dimensions of each layer. Furthermore, with approximate covariance matrices we can achieve a more efficient way to represent those correlations that is also cheaper than fully factorized parameter posteriors. We further show that with the "local reprarametrization trick" \cite{kingma2015variational} on this posterior distribution we arrive at a Gaussian Process \cite{rasmussen2006gaussian} interpretation of the hidden units in each layer and we, similarly with \cite{gal2015dropout}, provide connections with deep Gaussian processes. We continue in taking advantage of this duality and incorporate "pseudo-data" \cite{snelson2005sparse} in our model, which in turn allows for more efficient sampling while maintaining the properties of the original model. The validity of the proposed approach is verified through extensive experiments.

연구 동기 및 목표

• 완전히 인수분해된 가중치 사후분포의 한계를 해결하기 위해, 매개변수 간 상관관계를 포착하지 못하고 불확실성 추정이 열악한 베이지안 신경망의 문제를 해결한다.
• 입력 및 출력 차원 간의 공동 상관관계를 행렬 변수 정규분포를 사용해 모델링하는 스케일링 가능한 변분 추론 방법을 개발한다.
• 가짜 데이터를 통합함으로써 모델의 유연성과 불확실성 캘리브레이션을 향상시키되, 국소 재구성 기법을 통해 가우시안 프로세스 해석을 유지한다.
• 회귀 및 분류 벤치마크에서 실험적으로 방법의 타당성을 검증하여 기존 접근법보다 향상된 예측 성능과 불확실성 정량화를 입증한다.

제안 방법

• 가중치 행렬의 사후분포를 p(W) = MN(M, U, V)로 모델링하며, U는 행(출력 특징) 간 상관관계를, V는 열(입력 특징) 간 상관관계를 캡처한다.
• 행렬 변수 정규분포 사후분포에 국소 재구성 기법을 적용하여 효율적인 백프로파게이션을 가능하게 하며, 각 레이어의 은닉 유닛에 대해 가우시안 프로세스 해석을 가능하게 한다.
• 각 레이어에 대해 가짜 데이터 쌍을 도입하여 가우시안 프로세스 유사 성질을 유지하고 사후분포의 유연성을 향상시키지만, 모델 용량은 증가시키지 않는다.
• 변분 추론을 활용하여 근사 사후분포와 진짜 사후분포 간의 KL 발산을 최소화하며, 우도의 타당한 하한을 사용해 간편한 하한을 확보한다.
• 벡터화된 W의 전체 공분산을 파라미터화하기 위해 크로네커 곱 구조(V ⊗ U)를 사용하여 전체 공분산 행렬에 비해 분산 매개변수의 수를 감소시킨다.
• 행렬 변수 사후분포와 변분 드롭아웃을 조합한 하이브리드 접근법을 사용하며, 드롭아웃 비율은 변분 상한을 통해 제약한다.

실험 결과

연구 질문

• RQ1 가중치 행렬의 입력 및 출력 특징 간 상관관계를 모델링하면 베이지안 신경망의 불확실성 추정이 향상되는가?
• RQ2 행렬 변수 정규분포 사후분포는 완전히 인수분해된 사후분포보다 더 효율적이고 정확한 진짜 사후분포 근사에 기여하는가?
• RQ3 국소 재구성 기법을 통한 가우시안 프로세스 해석이 모델의 유연성과 예측 성능을 얼마나 향상시키는가?
• RQ4 가짜 데이터의 도입이 모델의 불확실성 캘리브레이션과 일반화에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 회귀 및 분류 과제에서 변분 드롭아웃과 PBP와 같은 최첨단 기법을 초월하는가?

주요 결과

• 동일한 회귀 과제에서 이 모델은 VI, PBP, 드롭아웃 불확실성보다 유의미하게 낮은 RMSE와 더 높은 예측 로그우도를 달성하여 향상된 예측 정확도와 불확실성 캘리브레이션을 입증한다.
• 순열 불변 MNIST 분류 과제에서 이 모델은 특히 소형 네트워크 아키텍처에서 최첨단 기법보다 낮은 오차율을 기록하여 일반화 능력 향상을 시사한다.
• 가짜 데이터를 포함한 행렬 가우시안 사후분포는 강력한 GP 유사 성질을 유지하여 제한된 용량에서도 모델이 민감하게 유지되며, 일반적으로 소형 네트워크에서 성능 저하가 발생하는 것을 방지한다.
• 완전히 인수분해된 가우시안 사후분포에 국소 재구성 기법을 적용한 경우, 토이 회귀 과제에서 심한 과소적합으로 인해 성능이 열등하여 구조적 가중치 사후분포의 중요성을 강조한다.
• 행렬 가우시안 모델의 예측 분포는 드롭아웃보다 더 현실적인 신뢰구간을 제공하며, 데이터가 적은 영역에서 드롭아웃은 과신뢰를 보인다.
• 전체 공분산 사후분포에 비해 분산 매개변수의 수를 줄여 더 효율적이고 안정적인 불확실성 추정을 가능하게 한다.