[논문 리뷰] Differential Bayesian Neural Nets

Andreas Look, Melih Kandemir|arXiv (Cornell University)|2019. 12. 02.

Model Reduction and Neural Networks참고 문헌 12인용 수 5

한 줄 요약

이 논문은 확률적 미분 방정식(Stochastic Differential Equations, SDEs)의 베이지안 확장인 미분 베이지안 신경망(Differential Bayesian Neural Nets, DBNN)을 소개한다. DBNN은 드리프트 항과 확산 항을 모두 베이지안 신경망(Bayesian Neural Networks, BNNs)으로 모델링하여 잘 校정된 불확실성 정량화를 가능하게 한다. 이는 예측 불확실성의 보정을 향상시키기 위해 수정된 확률적 경량화 랑주비안 동역학(Stochastic Gradient Langevin Dynamics, SGLD) 방법을 사용하며, 시간 시계열 예측 및 UCI 회귀 벤치마크에서 비베이지안 모델들보다 뛰어난 성능을 보이며 불확실성 보정과 모델 적합도가 향상됨을 입증한다.

ABSTRACT

Neural Ordinary Differential Equations (N-ODEs) are a powerful building block for learning systems, which extend residual networks to a continuous-time dynamical system. We propose a Bayesian version of N-ODEs that enables well-calibrated quantification of prediction uncertainty, while maintaining the expressive power of their deterministic counterpart. We assign Bayesian Neural Nets (BNNs) to both the drift and the diffusion terms of a Stochastic Differential Equation (SDE) that models the flow of the activation map in time. We infer the posterior on the BNN weights using a straightforward adaptation of Stochastic Gradient Langevin Dynamics (SGLD). We illustrate significantly improved stability on two synthetic time series prediction tasks and report better model fit on UCI regression benchmarks with our method when compared to its non-Bayesian counterpart.

연구 동기 및 목표

• 시간 시계열 및 회귀 과제에서 신경 ODE 및 SDE의 잘 校정된 불확실성 정량화의 부족을 해결하기 위해.
• 드리프트 및 확산 항을 모두 베이지안 신경망으로 모델링하여 신경 ODE를 완전히 베이지안 프레임워크로 확장하기 위해.
• 원칙적인 사후 추론을 통해 연속 시간 동역학계에서 강인한 불확실성 추정을 가능하게 하기 위해.
• 합성 및 실제 세계의 회귀 과제에서 비베이지안 모델 및 고정 드롭아웃 기반 모델 대비 개선된 안정성과 예측 성능을 입증하기 위해.

제안 방법

• 모델은 확률적 미분 방정식(SDE)의 드리프트 및 확산 함수를 파arameterize하기 위해 두 개의 별도된 베이지안 신경망(BNNs)을 사용한다.
• 학습 및 추론 중 수치적 근사로 SDE는 유진-마루야마(Euler-Maruyama) 이산화 방법을 통해 해결된다.
• BNN 가중치에 대한 사후 추론은 확률적 경량화 랑주비안 동역학(SGLD)의 수정된 변형을 사용하여 스케일러블한 베이지안 학습이 가능해진다.
• 예측 분포는 은닉 상태의 평균과 공분산을 최종 선형 레이어를 통해 전파하여 불확실성 인식 회귀를 가능하게 한다.
• 확산 행렬은 BNN 출력의 콜레스키 분해를 통해 파arameterize되며, 이는 양의 정부호성을 보장하고 구조화된 불확실성 모델링을 가능하게 한다.
• 드리프트 및 확산 구성요소에 대해 유연한 네트워크 아키텍처를 지원하며, 대각형 또는 전체 공분산 구조를 포함한다.

실험 결과

연구 질문

• RQ1 완전히 베이지안화된 신경 SDE가 비베이지안 또는 고정 드롭아웃 접근법 대비 시간 시계열 예측에서 불확실성 보정을 향상시킬 수 있는가?
• RQ2 드리프트 및 확산 항을 모두 BNN으로 모델링할 경우 합성 및 실제 세계의 시간 시계열에서 모델의 안정성과 예측 성능에 어떤 영향을 미치는가?
• RQ3 BNN 가중치에 대한 SGLD를 사용한 사후 추론이 변분 추론이나 고정 정규화 기법 대비 불확실성 정량화를 얼마나 향상시키는가?
• RQ4 기존의 SDE 기반 모델 대비 표준 UCI 회귀 벤치마크에서 제안된 방법이 더 높은 테스트 로그우도와 불확실성 보정을 달성하는가?
• RQ5 비베이지안 SDE 모델은 드롭아웃 비율 및 시간 이산화 수준과 같은 하이퍼파라미터 설정에 얼마나 민감한가? 그리고 베이지안 접근법은 이러한 민감성을 완화하는가?

주요 결과

• DBNN는 PBP, 드롭아웃, N-SDE 기반 모델 대비 모든 8개의 UCI 회귀 데이터셋에서 더 나은 또는 경쟁 가능한 테스트 로그우도를 달성했다.
• 보스턴 데이터셋에서 콜레스키 파arameterization을 사용한 DBNN는 테스트 로그우도 -2.45(0.03)를 기록했으며, N-SDE의 -2.48(0.03)를 능가했다.
• 해군 데이터셋에서 콜레스키 파arameterization을 사용한 DBNN는 테스트 로그우도 2.97(0.09)를 기록했으며, N-SDE의 3.83(0.03)를 뚜렷이 앞섰다.
• 시간 시계열 예측 과제에서 DBNN는 내삽 및 외삽 영역에서 증가하는 불확실성을 정확히 포착했으며, N-SDE는 과도하게 매끄럽고 校정되지 않은 불확실성 추정을 보였다.
• N-SDE는 드롭아웃 비율이 5%를 초과할 경우 수렴하지 못했으며, 이는 비베이지안 접근법의 불안정성을 드러내었고, DBNN는 실험 전반에서 안정성을 유지했다.
• 구조화된 확산(콜레스키) 사용은 여러 데이터셋에서 성능 향상을 이끌었으며, 이는 상관관계가 있는 노이즈를 모델링할 경우 예측 불확실성이 향상됨을 시사한다.