[논문 리뷰] Walsh-Hadamard Variational Inference for Bayesian Deep Learning

Simone Rossi, Sébastien Marmin외 1명|arXiv (Cornell University)|2019. 05. 27.

Gaussian Processes and Bayesian Inference참고 문헌 63인용 수 4

한 줄 요약

이 논문은 베이지안 딥 뉴럴 네트워크에서 가중치 행렬을 인과적으로 분해하기 위해 월리스-하다마르 변환을 활용하는 월리스-하다마르 변분 추론(whvi)을 제안한다. 이는 매개변수 수를 O(D²)에서 O(D)로 줄이고 계산 속도를 O(D²)에서 O(D log D)로 가속화한다. 이 방법은 복잡도를 크게 감소시켜 변분 추론에서의 과도한 정규화 문제를 완화하며, 다양한 벤치마크 데이터셋에서 최신 기준 성능을 달성하고 빠른 속도 향상을 이룬다.

ABSTRACT

Over-parameterized models, such as DeepNets and ConvNets, form a class of models that are routinely adopted in a wide variety of applications, and for which Bayesian inference is desirable but extremely challenging. Variational inference offers the tools to tackle this challenge in a scalable way and with some degree of flexibility on the approximation, but for over-parameterized models this is challenging due to the over-regularization property of the variational objective. Inspired by the literature on kernel methods, and in particular on structured approximations of distributions of random matrices, this paper proposes Walsh-Hadamard Variational Inference (WHVI), which uses Walsh-Hadamard-based factorization strategies to reduce the parameterization and accelerate computations, thus avoiding over-regularization issues with the variational objective. Extensive theoretical and empirical analyses demonstrate that WHVI yields considerable speedups and model reductions compared to other techniques to carry out approximate inference for over-parameterized models, and ultimately show how advances in kernel methods can be translated into advances in approximate Bayesian inference.

연구 동기 및 목표

• 베이지안 DNN 및 CNN과 같은 과도하게 파rameter화된 모델에서 변분 추론의 과도한 정규화 문제를 해결하기 위해, 고차원 매개변수 공간으로 인해 KL 발산 항이 목적 함수를 지배하는 문제를 해결한다.
• 딥 러닝에서 변분 사후 근사의 계산 및 매개변수 복잡도를 줄이면서도 모델의 유연성은 유지하거나 향상시키는 것을 목표로 한다.
• 특히 커널 방법에 영감을 받은 구조적 행렬 분해, 즉 월리스-하다마르 변환을 활용해 깊이 있는 모델에서 스케일링 가능하고 효율적인 베이지안 추론을 가능하게 한다.
• 로그-선형 복잡도를 가진 행렬-변량 사후 근사가 표준 평균-장면 및 기타 인과적 접근보다 속도와 성능 면에서 뛰어나게 할 수 있는지 입증한다.

제안 방법

• D×D 가중치 행렬에 대해 월리스-하다마르 변환을 활용한 구조적 분해를 사용하여, 변분 매개변수 수를 O(D²)에서 O(D)로 줄인다.
• 역 월리스-하다마르 변환 기반의 재파arameterization 기법을 도입하여 변분 사후에서 미분 가능한 샘플링을 가능하게 한다.
• 기울기 분산을 줄이기 위해 국소 재parameterization 기법을 유도하여, 각 레이어에서 O(D log D)의 계산 복잡도로 효율적인 확률적 최적화를 가능하게 한다.
• 사후 분포를 저랭크 구조를 월리스-하다마르 변환을 통해 유도한 행렬-변량 가우시안 분포로 모델링하여 복잡도를 증가시키지 않으면서도 더 높은 민감도를 확보한다.
• 랜덤 행렬 이론과 Fastfood 및 직교 랜덤 특징과 같은 이전 커널 방법 연구에 기반하여, 이를 딥 러닝의 변분 추론에 적응시킨다.
• 메서드는 베이지안 DNN 및 CNN에 적용되었으며, 여러 분류 벤치마크에서 실험적으로 검증되었다.

실험 결과

연구 질문

• RQ1 월리스-하다마르 변환 기반의 구조적 행렬 분해가 과도하게 파rameter화된 딥 모델에서 변분 추론의 매개변수 및 계산 비용을 줄일 수 있는가?
• RQ2 제안된 whvi 방법이 변분 목표 함수의 KL 발산 항으로 인한 과도한 정규화 문제를 완화하는가?
• RQ3 정확도, 불확실성 캘리브레이션, 학습 속도 측면에서 whvi의 성능은 평균-장면 변분 추론 및 기타 행렬 분해 기법과 비교해 어떻게 되는가?
• RQ4 로그-선형 복잡도를 가진 행렬-변량 사후 근사가 베이지안 딥 러닝에서 표준 평균-장면 근사보다 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 6개의 분류 데이터셋에서 whvi는 최신 기준 테스트 오차율을 달성했으며, 256개의 히든 유닛을 사용한 드라이브 데이터셋에서 오차율이 0.01±0.00에 이르렀다.
• EEG 데이터셋에서는 512개의 히든 유닛을 사용해 테스트 오차율 0.17±0.01을 기록했으며, 몬테카를로 드롭아웃 및 표준 평균-장면 VI를 포함한 모든 베이스라인을 능가했다.
• 매직 데이터셋에서는 모든 모델 크기에서 테스트 오차율 0.13±0.01을 달성했으며, 정확도와 불확실성 캘리브레이션(MNLL) 모두에서 다른 방법을 뛰어넘었다.
• 매개변수 수는 O(D²)에서 O(D)로 감소했고, 계산 복잡도는 O(D²)에서 O(D log D)로 감소하여 학습 및 추론 속도 향상에 기여했다.
• 부정적 로그우도(NLL) 측면에서 whvi는 여러 데이터셋에서 가장 낮은 값을 기록했으며, 512개 유닛을 사용한 미니부오 데이터셋에서 0.31±0.01을 기록해 뛰어난 불확실성 추정 능력을 보였다.
• 제거 분석을 통해 동일한 복잡도를 가진 다른 저랭크 분해 전략보다 whvi가 뛰어난 성능을 보여, 월리스-하다마르 구조의 효과성을 입증했다.