[논문 리뷰] Variational Bayesian Last Layers

J. Harrison, John Willes외 1명|arXiv (Cornell University)|2024. 04. 17.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 Variational Bayesian Last Layers (VBLL)을 도입한다. 이는 샘플링이 필요 없는 결정론적 접근법으로, 베이지안 마지막 계층 신경망의 학습을 통해 불확실성 추정성을 강화하고 거의 일정한 추가 비용으로 표준 아키텍처와 함께 사용할 수 있다.

ABSTRACT

We introduce a deterministic variational formulation for training Bayesian last layer neural networks. This yields a sampling-free, single-pass model and loss that effectively improves uncertainty estimation. Our variational Bayesian last layer (VBLL) can be trained and evaluated with only quadratic complexity in last layer width, and is thus (nearly) computationally free to add to standard architectures. We experimentally investigate VBLLs, and show that they improve predictive accuracy, calibration, and out of distribution detection over baselines across both regression and classification. Finally, we investigate combining VBLL layers with variational Bayesian feature learning, yielding a lower variance collapsed variational inference method for Bayesian neural networks.

연구 동기 및 목표

• 딥러닝에서 잘 보정된 불확실성의 필요성을 동기화하고 베이지안 방법의 계산적 장벽을 다룬다.
• 효율적인 학습과 예측을 가능하게 하는 베이지안 마지막 계층 모델용 결정론적 변분 프레임워크를 제안한다.
• VBLL이 작업 전반에서 예측 정확도, 가능도, 보정 및 이상치 탐지(Out-of-Distribution 탐지)를 개선한다는 것을 보여준다.
• 실용적인 PyTorch 기반 VBLL 구현을 제공하고 MAP와 변분 특징 학습 모두와의 호환성을 입증한다.

제안 방법

• 마지막 계층 베이지안 모델의 주변가능도(marginal likelihood)에 대해 샘플링 없이도 하한을 제공하는 변분 목적 함수를 개발한다.
• 회귀, 판별적 분류, 생성적 분류 마지막 계층 모델에 대한 해석적 closed-form 또는 효율적으로 계산 가능한 학습 목적 함수를 도출한다.
• 표현성 및 계산 가능성을 균형 잡기 위해 구조화 공분산을 갖는 마지막 계층 가중치의 가우시안 변분 포스트리어를 가정한다.
• VBLL 학습 복잡도가 표준 학습과 비슷하게 스케일하며 큰 아키텍처에 대해 실용적임을 보인다.
• 예측을 변분 포스트리어 하에서의 기대값으로 제시하여 불확실성 추정치를 얻는다.
• 선택적으로 VBLL을 변분 특징 학습과 결합하여 수축된 변분 추론 설정을 만든다.

실험 결과

연구 질문

• RQ1 변분 마지막 계층 접근법이 최소한의 계산 오버헤드로도 정확한 불확실성 추정치를 제공할 수 있는가?
• RQ2 회귀 및 분류 작업에서 VBLL이 예측 성능, 보정 및 이상치 탐지(Out-of-Distribution 탐지)에 어떤 영향을 미치는가?
• RQ3 VBLL 프레임워크 내에서 판별적 대 생성적 마지막 계층 모델의 비교 이점은 무엇인가?
• RQ4 VBLL과 변분 특징 학습의 결합이 후방 분산(posterior variance)을 감소시키고 강건성을 향상시키는가?

주요 결과

• VBLL은 회귀 및 분류 벤치마크 전반에서 예측 정확도, 가능도, 보정 및 이상치 탐지(이상치 탐지) 향상을 보인다.
• 이미지 분류에서 VBLL 변형은 정확도와 보정 면에서 기준(Base라인)과 비교하여 경쟁력이 있거나 우수한 성능을 달성한다.
• 판별적 VBLL은 특히 OOD 설정에서 강력한 성능과 강건성을 보여주며, 정확도와 불확실성 간의 균형에서 우호적인 trade-off가 있다.
• 생성적 VBLL은 합리적인 임베딩 밀도와 우수한 OOD 민감도를 제공하지만, 성능은 작업 및 구성에 따라 다르게 나타난다.
• VBLL과 변분 특징 학습의 결합은 베이esian 신경망을 위한 낮은 분산의 붕괴된 변분 추론 접근법을 제공한다.