[논문 리뷰] Adapting the Linearised Laplace Model Evidence for Modern Deep Learning

Javier Antorán, David M. Janz외 5명|UvA-DARE (University of Amsterdam)|2022. 06. 17.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 고전적 선형화된 라플라스 방법과 현대 딥러닝 기법 간의 핵심적 불일치를 규명한다. 특히 확률적 최적화와 정규화 레이어를 포함한 현대적 학습 방식과의 부합성을 높이기 위해 두 가지 주요 개선을 제안한다: 선형화에 원래 학습 점(θ̃) 대신 선형화 모델의 최적 파라미터(θ⋆)를 사용하고, 정규화된 파라미터와 비정규화된 파라미터에 대해 별도로 사전 분포를 모델링하는 것이다. 이러한 조치는 다양한 아키텍처(ResNet, 트랜스포머, 오토에인코더 포함)에서 모델 증거 추정과 불확실성 캘리브레이션을 크게 향상시킨다.

ABSTRACT

The linearised Laplace method for estimating model uncertainty has received renewed attention in the Bayesian deep learning community. The method provides reliable error bars and admits a closed-form expression for the model evidence, allowing for scalable selection of model hyperparameters. In this work, we examine the assumptions behind this method, particularly in conjunction with model selection. We show that these interact poorly with some now-standard tools of deep learning--stochastic approximation methods and normalisation layers--and make recommendations for how to better adapt this classic method to the modern setting. We provide theoretical support for our recommendations and validate them empirically on MLPs, classic CNNs, residual networks with and without normalisation layers, generative autoencoders and transformers.

연구 동기 및 목표

• 확률적 최적화와 정규화 레이어를 사용해 훈련된 현대 딥러닝 모델에 적용했을 때 고전적 선형화된 라플라스 방법의 낮은 성능을 해결한다.
• 표준 선형화된 라플라스 방법은 학습 점 θ̃이 손실 최소값이라고 가정하지만, 수렴하지 않은 학습 상황에서는 이 가정이 종종 성립하지 않음을 밝힌다.
• 배치 정규화 또는 유사한 레이어를 포함한 네트워크에서 예측 분포가 잘 정의되지 않는 문제를 해결하기 위해, 정규화된 파라미터와 비정규화된 파라미터에 대해 별도의 사전 분포를 설정한다.
• 선형화 모델의 최적 파라미터를 기반으로 수정된 목적 함수를 사용해 정확한 모델 증거 추정을 통해 모델 선택을 향상시킨다.
• 제안된 방법이 다양한 아키텍처와 데이터셋에서 더 캘리브레이션된 불확실성 추정과 높은 테스트 로그우도를 제공함을 입증한다.

제안 방법

• 표준 선형화된 라플라스 모델 증거에서 원래 학습 점 θ̃를 사용하는 것을, 선형화 모델의 최적 파라미터 θ⋆를 사용하는 새로운 목적 함수로 대체함으로써 볼록 최적화 문제를 해결한다.
• 선형화 모델의 손실 경관을 고려한 수정된 모델 증거 표현을 유도하여, 수렴하지 않은 학습 상황에서도 진정한 사후분포와 더 잘 일치하도록 보장한다.
• 배치 정규화 또는 유사한 레이어를 포함한 네트워크에서 발생하는 문제를 해결하기 위해, 정규화된 파라미터와 비정규화된 파라미터에 대해 별도의 사전 분포를 설정하는 이중 사전 형식을 도입한다.
• 새로운 모델 증거 목적 함수를 하이퍼파ram터 선택에 적용하여, 정규화 파ram터에 대해 스케일러블하고, 미분 가능하며, 볼록 최적화가 가능한 방법을 확보한다.
• 신경 탄성 커널(NTK) 프레임워크를 사용해 선형화 모델을 정형화하고, 제안된 방법의 이론적 성질을 정당화한다.
• MLP, CNN, ResNet(정규화 유무 포함), 트랜스포머, 오토에인코더에서 경험적으로 방법을 검증하여 불확실성 캘리브레이션과 예측 성능을 비교한다.

실험 결과

연구 질문

• RQ1 왜 고전적 선형화된 라플라스 방법은 확률적 최적화로 훈련된 현대 딥러닝 모델에 적용했을 때 신뢰할 수 있는 모델 증거 추정을 제공하지 못하는가?
• RQ2 학습 점 θ̃이 훈련 손실의 최소값이 아니더라도 선형화된 라플라스 방법을 어떻게 수정하여 유효하게 유지할 수 있는가?
• RQ3 왜 선형화된 라플라스에서 정규화 레이어를 포함한 네트워크의 예측 분포가 잘 정의되지 않으며, 이를 어떻게 수정할 수 있는가?
• RQ4 원래 학습 점 θ̃ 대신 선형화 모델의 최적 파라미터 θ⋆를 사용할 경우, 더 캘리브레이션된 불확실성 추정과 향상된 모델 증거를 얻을 수 있는가?
• RQ5 제안된 방법이 다양한 아키텍처와 데이터셋에서 표준 선형화된 라플라스보다 테스트 로그우도와 불확실성 캘리브레이션 측면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 선형화 모델의 최적 파라미터 θ⋆를 원래 학습 점 θ̃ 대신 사용할 경우, 특히 수렴하지 않은 학습 상황에서 모델 증거 추정이 훨씬 정확해진다.
• θ⋆ 기반의 모델 증거는 표준 방법(θ̃ 사용)보다 일관되게 높은 테스트 로그우도를 제공하며, ResNet-50를 사용한 CIFAR10에서는 최대 0.5 로그우도 단위의 향상이 관찰되었다.
• MNIST에서 ResNet-18을 사용할 경우, 복수의 레이어별 정규화 파ram터를 적용한 제안된 방법은 테스트 음의 로그우도가 0.003 ± 0.000을 기록하여, 단일 λ를 사용한 표준 방법(0.520 ± 0.009)을 뛰어넘었다.
• 정규화 레이어를 위한 이중 사전 형식은 잘 정의되지 않은 예측 분포 문제를 성공적으로 해결하여 배치 정규화 네트워크에서 신뢰할 수 있는 불확실성 추정이 가능하게 하였다.
• 경험적 결과로 제안된 방법은 더 캘리브레이션된 불확실성 추정을 제공하며, 오토에인코더 작업에서 예측 표준편차가 실제 재구성 오차와 매우 유사하게 나타났다.
• 새로운 목적 함수(Mθ⋆)를 사용한 하이퍼파ram터 최적화는 안정적으로 수렴하는 반면, 표준 방법(Mθ̃)은 정규화 파ram터가 0으로 발산시키며 불안정성을 보였다.