[논문 리뷰] Eigenvalue Corrected Noisy Natural Gradient

Juhan Bae, Guodong Zhang외 1명|arXiv (Cornell University)|2018. 11. 30.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 11

한 줄 요약

이 논문은 K-FAC 고유기저에서 대각 분산을 계산함으로써 불확실성 추정을 향상시키는 노이즈가 섞인 EK-FAC를 제안한다. 이는 행렬변량 정규 사후분포에 대한 고유값 보정을 포함한 것으로, 계산 비용 증가 없이 회귀 및 분류 과제에서 노이즈가 섞인 K-FAC보다 더 높은 ELBO와 테스트 정확도를 달성한다.

ABSTRACT

Variational Bayesian neural networks combine the flexibility of deep learning with Bayesian uncertainty estimation. However, inference procedures for flexible variational posteriors are computationally expensive. A recently proposed method, noisy natural gradient, is a surprisingly simple method to fit expressive posteriors by adding weight noise to regular natural gradient updates. Noisy K-FAC is an instance of noisy natural gradient that fits a matrix-variate Gaussian posterior with minor changes to ordinary K-FAC. Nevertheless, a matrix-variate Gaussian posterior does not capture an accurate diagonal variance. In this work, we extend on noisy K-FAC to obtain a more flexible posterior distribution called eigenvalue corrected matrix-variate Gaussian. The proposed method computes the full diagonal re-scaling factor in Kronecker-factored eigenbasis. Empirically, our approach consistently outperforms existing algorithms (e.g., noisy K-FAC) on regression and classification tasks.

연구 동기 및 목표

• 행렬변량 정규 사후분포의 한계를 해결하기 위해, 이는 정확한 대각 분산을 포착하지 못한다는 점이다.
• 표준 노이즈가 섞인 K-FAC를 넘어서 사후분포의 유연성과 표현력을 향상시키기 위함이다.
• K-FAC의 효율성을 유지하면서도 고유값 보정을 통해 불확실성 추정을 향상시키는 확장 가능한 방법을 개발하기 위함이다.
• 매개변수 공간이 아닌 K-FAC 고유기저에서 재조정 인자를 재표현함으로써 정확한 대각 분산 추정을 가능하게 하기 위함이다.

제안 방법

• 이 방법은 K-FAC 근사의 크로네커 분해 고유기저에서 대각 재조정 인자를 계산함으로써 노이즈가 섞인 K-FAC를 확장한다.
• 고유기저에서 기울기 벡터의 두 번째 모멘트를 사용하여 더 정확한 대각 분산을 계산하고, 표준 행렬변량 정규 가정을 보정한다.
• 현재 곡률 구조와의 일치를 유지하기 위해 고유기저는 주기적으로(매 50회 반복마다) 갱신된다.
• 기저 갱신을 암시적으로 처리하여 계산 비용을 절감하며, 고유기저 갱신 주기 T_eig = 5와 재조정 갱신 주기 T_scale = 10으로 설정한다.
• 완전히 연결된 신경망과 컨볼루션 신경망 모두에 적용 가능하며, 크로네커 인자로 컨볼루션 레이어에 K-FAC를 확장한다.
• 기존 K-FAC 인프라를 재사용하고 대각 분산 계산만 수정함으로써 노이즈가 섞인 K-FAC와 동일한 계산 복잡도를 유지한다.

실험 결과

연구 질문

• RQ1 K-FAC 고유기저에서 대각 분산을 보정하는 것이 베이지안 신경망의 행렬변량 정규 사후분포의 표현력을 향상시키는가?
• RQ2 고유값 보정된 대각 분산은 표준 노이즈가 섞인 K-FAC보다 더 나은 불확실성 추정과 일반화 성능을 제공하는가?
• RQ3 제안된 방법은 계산 효율성을 유지하면서도 회귀 및 분류 과제에서 사후분포의 유연성을 향상시키는가?
• RQ4 다양한 데이터 증강 및 배치 정규화 설정에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 모든 회귀 데이터셋에서 노이즈가 섞인 EK-FAC는 노이즈가 섞인 K-FAC보다 더 높은 테스트 로그우도를 기록했으며, 로그우도 향상 폭은 0.02에서 0.25 사이였다.
• CIFAR10 데이터셋에서 노이즈가 섞인 EK-FAC는 데이터 증강 없이 87.07%의 정확도를 달성했고, 데이터 증강과 배치 정규화를 모두 적용한 경우 92.22%의 정확도를 기록하여 노이즈가 섞인 K-FAC보다 1.55%p 높았다.
• 학습 기간 동안 노이즈가 섞인 EK-FAC는 항상 노이즈가 섞인 K-FAC보다 더 높은 ELBO를 기록하여 더 나은 변분 근사 품질을 나타냈다.
• 고유값 보정은 특히 기울기 두 번째 모멘트가 불안정한 소형 배치 설정에서 더 안정적이고 정확한 대각 분산 추정을 가능하게 했다.
• 고유기저 및 재조정 갱신을 암시적으로 처리함으로써 최적화 성능에 큰 영향을 주지 않으며, 효율성을 유지했다.
• 심층 네트워크, 특히 수정된 VGG16에 대해서도 효과적으로 스케일업되었으며, 노이즈가 섞인 K-FAC와 비교해 측정 가능한 계산 오버헤드 없이 작동했다.