[논문 리뷰] Infinitely Deep Bayesian Neural Networks with Stochastic Differential Equations

Winnie Xu, Ricky T. Q. Chen외 2명|arXiv (Cornell University)|2021. 02. 12.

Gaussian Processes and Bayesian Inference참고 문헌 40인용 수 15

한 줄 요약

이 논문은 확률적 미분 방정식(SDE-BNNs)을 사용하여 무한히 깊은 베이지안 신경망을 도입한다. 여기서 각 무한소 층에서의 가중치 불확실성은 은닉 유닛의 무작위 궤적을 유도한다. 기존의 0 분산 기울기 추정기의 새로운 형태를 사용한 기울기 기반 변분 추론을 통해, 임의로 표현력이 뛰어난 근사 사후분포와 스케일러블하고 메모리 효율적인 훈련을 가능하게 하여, MNIST와 CIFAR-10에서 보다 뛰어난 校정성과 강건성을 확보한 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We perform scalable approximate inference in continuous-depth Bayesian neural networks. In this model class, uncertainty about separate weights in each layer gives hidden units that follow a stochastic differential equation. We demonstrate gradient-based stochastic variational inference in this infinite-parameter setting, producing arbitrarily-flexible approximate posteriors. We also derive a novel gradient estimator that approaches zero variance as the approximate posterior over weights approaches the true posterior. This approach brings continuous-depth Bayesian neural nets to a competitive comparison against discrete-depth alternatives, while inheriting the memory-efficient training and tunable precision of Neural ODEs.

연구 동기 및 목표

• 신경미분방정식(ODE)의 이점을 결합한 연속적 깊이의 베이지안 신경망 모델을 개발한다.
• 무한 매개변수 모델에서 임의로 표현력이 뛰어난 근사 사후분포를 갖는 스케일러블하고 기울기 기반의 변분 추론을 가능하게 한다.
• 근사 사후분포가 진정한 사후분포에 수렴함에 따라 분산이 0에 수렴하는 새로운 기울기 추정기를 유도한다.
• 메모리 효율성과 신경미분방정식의 적응형 계산 특성을 유지하면서도 분류 작업에서 경쟁력 있는 성능을 보여준다.

제안 방법

• 은닉 유닛의 동역학을 지배하는 확률적 미분 방정식(SDE)으로 무한히 깊은 베이지안 신경망의 극한을 모델링한다.
• SDE의 드리프트 및 확산 함수를 딥 네ural 네트워크로 매개변수화하여 시간에 따라 상관관계를 가지는 가중치 불확실성을 모델링한다.
• SDE의 매개변수에 대한 변분 사후분포를 최적화하기 위해 확률적 변분 추론을 적용하고, 수정된 변분 하한(ELBO)을 최대화한다.
• ‘스티킹 더 레딩(Sticking the Landing)’ 기법을 영감으로 삼은 분산 감소 기울기 추정기를 도입하여, 사후분포 정확도가 향상될수록 분산이 0에 수렴한다.
• 출력 층 상태를 계산하기 위해 블랙박스 적응형 SDE 해법기를 사용하여 훈련 중 일정한 메모리 비용을 유지한다.
• 표현력 향상과 더 나은 사후분포 근사 가능성을 위해 증강된 상태 차원을 사용한 매개변수화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 근사 사후분포가 임의로 표현력이 뛰어나질 수 있도록 연속적 깊이의 베이지안 신경망을 구성할 수 있는가?
• RQ2 무한 매개변수 베이지안 모델에 대해, 사후분포 근사가 향상될수록 분산이 0에 수렴하는 기울기 추정기를 설계할 수 있는가?
• RQ3 SDE 기반의 베이지안 네트워크는 신경미분방정식의 메모리 효율성을 유지하면서도 표준 벤치마크에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 제안된 방법은 이산적 깊이 대비 모델의 외부 분포 데이터에 대한 校정성과 강건성 측면에서 어떻게 비교되는가?

주요 결과

• SDE-BNN은 MNIST에서 99.30% ± 0.09의 정확도와 CIFAR-10에서 88.08% ± 1.25의 정확도를 기록하여, 기준 ResNet 및 기타 베이지안 모델보다 校정성과 강건성 측면에서 뛰어난 성능을 보였다.
• ‘스티킹 더 레딩(STL)’ 기울기 추정기를 사용한 SDE-BNN은 CIFAR-10에서 테스트 정확도를 96.89%로 향상시키고, 표준 SVI 대비 음의 로그우도를 75% 감소시켰다.
• SDE-BNN + STL 변종은 CIFAR-10에서 기대 校정오차(ECE)를 6.44 × 10⁻²로 감소시켜 더 잘 校정된 예측을 보였다.
• CIFAR-10C 벤치마크에서 모든 오염 강도 수준에서 일관된 성능을 유지하여 분포 이탈에 대한 강건성을 입증했다.
• 제안된 기울기 추정기는 분산을 크게 감소시켜 매우 유연한 사후분포 매개변수화에서도 안정적인 훈련을 가능하게 했다.
• 증강된 상태 차원은 비과도적인 차원을 무시하면서도 의미 있는 표현을 학습할 수 있도록 했다.