[논문 리뷰] On Stein Variational Neural Network Ensembles

Francesco D'Angelo, Vincent Fortuin외 1명|arXiv (Cornell University)|2021. 06. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 63인용 수 5

한 줄 요약

이 논문은 가중치 공간과 함수 공간에서 기능적 및 하이브리드 커널을 사용한 스틸 변분 신경망 앙상블을 위한 통합 프레임워크를 제안한다. 이는 다양성과 불확실성 추정을 향상시킨다. 기능적 커널과 확률적 업데이트를 사용한 SVGD가 표준 딥 앙상블과 가중치 공간 SVGD를 능가하며, 진정한 베이지안 사후분포에 더 가까이 수렴하면서도, 분포 외 탐지와 校정 능력을 향상시킴을 보여준다.

ABSTRACT

Ensembles of deep neural networks have achieved great success recently, but they do not offer a proper Bayesian justification. Moreover, while they allow for averaging of predictions over several hypotheses, they do not provide any guarantees for their diversity, leading to redundant solutions in function space. In contrast, particle-based inference methods, such as Stein variational gradient descent (SVGD), offer a Bayesian framework, but rely on the choice of a kernel to measure the similarity between ensemble members. In this work, we study different SVGD methods operating in the weight space, function space, and in a hybrid setting. We compare the SVGD approaches to other ensembling-based methods in terms of their theoretical properties and assess their empirical performance on synthetic and real-world tasks. We find that SVGD using functional and hybrid kernels can overcome the limitations of deep ensembles. It improves on functional diversity and uncertainty estimation and approaches the true Bayesian posterior more closely. Moreover, we show that using stochastic SVGD updates, as opposed to the standard deterministic ones, can further improve the performance.

연구 동기 및 목표

• 표준 딥 앙상블에서 베이지안적 정당성 부족과 기능적 다양성 부족 문제를 해결하기 위해.
• 스티븐 변분 기울기 강하(SVGD)를 기반으로 한 입자 기반 추론을 활용하여 불확실성 추정 및 분포 외 탐지 능력을 향상시키기 위해.
• 딥 앙상블과 표준 SVGD를 특수 케이스로 일반화하는 통합 프레임워크를 개발하기 위해.
• 커널 선택(가중치, 함수, 하이브리드)과 업데이트 유형(결정적, 확률적)이 앙상블 다양성과 사후 근사에 미치는 영향을 조사하기 위해.
• 기존 기능적 SVGD 방법의 한계를 보완하는 새로운 SVGD 변종(fw-SVGD 및 h-SVGD)을 제안하기 위해.

제안 방법

• 가중치 공간, 함수 공간, 하이브리드 커널 기반 SVGD를 통합한 스틸 변분 신경망 앙상블을 위한 일반화된 프레임워크를 제안한다.
• 이전 기능적 SVGD 방법의 결함을 수정하기 위해 fw-SVGD를 도입하여 적절한 기능적 다양성을 보장한다.
• 하이브리드 커널을 사용해 가중치 공간과 함수 공간에서 동시에 SVGD 업데이트를 적용하는 h-SVGD라는 하이브리드 방법을 개발한다.
• 기울기 업데이트에 노이즈를 주입하여 확률적 SVGD 업데이트를 구현함으로써 결정적 방법보다 더 높은 다양성을 확보한다.
• 함수 공간 스틸 산란도의 미니배치 근사를 사용해 대규모 모델과 데이터셋에 적용 가능한 스케일링을 구현한다.
• 수렴성과 校정 능력을 향상시키기 위해 SVGD 프레임워크 내에서 안내 스케줄링과 사후 온도 조절을 적용한다.

실험 결과

연구 질문

• RQ1 가중치 공간, 함수 공간, 하이브리드 커널의 다양한 선택이 신경망 앙상블의 기능적 다양성과 불확실성 추정에 어떤 영향을 미치는가?
• RQ2 확률적 SVGD 업데이트가 결정적 SVGD에 비해 베이지안 신경망 추론에서 다양성과 성능을 향상시킬 수 있는가?
• RQ3 제안된 fw-SVGD 방법은 기존 기능적 SVGD 접근법에 비해 기능적 다양성과 사후 근사 능력에서 어떻게 비교되는가?
• RQ4 기능적 커널을 사용한 SVGD 기반 앙상블이 황금 표준인 해밀토니안 몬테카를로(HMC) 사후분포에 얼마나 가까이 수렴하는가?
• RQ5 이러한 SVGD 변종들은 표준 딥 앙상블과 pSGLD에 비해 분포 외 탐지 및 校정 능력에서 어떻게 성능을 내는가?

주요 결과

• h-SVGD-s 방법은 CIFAR-100 데이터셋에서 β=1일 때 최고의 정확도(89.0% ± 0.2%)와 가장 뛰어난 OOD 탐지 성능(AUROC 0.890)을 기록하여 딥 앙상블과 표준 SVGD를 능가했다.
• h-SVGD-l 및 h-SVGD-s 변종은 뛰어난 기능적 다양성과 불확실성 추정 능력을 보였으며, 합성 회귀 및 분류 과제에서 HMC 사후분포에 매우 가까이 근사했다.
• 정확도가 약간 낮더라도, 확률적 SVGD 업데이트(h-SVGD-s)는 결정적 대안보다 OOD 탐지 및 기능적 다양성에서 성능 향상을 보였다.
• fw-SVGD 방법은 이전 기능적 SVGD의 결함을 수정하여 f-SVGD보다 더 뛰어난 기능적 다양성과 향상된 불확실성 校정 능력을 확보했다.
• β=1일 때 CIFAR-100에서 h-SVGD-l은 86.862% ± 0.056의 정확도와 2.454 ± 0.016의 NLL을 기록하여 딥 앙상블(85.434% ± 0.067 정확도)과 w-SVGD(86.720% ± 0.073 정확도)를 모두 능가했다.
• pSGLD 방법은 가장 뛰어난 校정 성능(ECE 0.065)을 기록했지만, h-SVGD-s는 OOD 탐지 및 기능적 다양성에서 이를 따라하거나 초월하여, 校정과 불확실성 내구성 사이의 트레이드오���을 보여주었다.