[논문 리뷰] Going NUTS with ADVI: Exploring various Bayesian Inference techniques with Facebook Prophet

Jovan Krajevski, Biljana Tojtovska|arXiv (Cornell University)|2026. 01. 27.

Forecasting Techniques and Applications인용 수 0

한 줄 요약

이 논문은 PyMC에서 Facebook Prophet을 재구현하여 단변량 시계열 예측 작업에서 전체 MCMC, MAP 및 변분 추론 기법을 비교하고, NUTS가 가장 안정적으로 수렴하는 경우가 많으며 VI는 속도는 빠르지만 불확실성의 과대/과소추정 가능.

ABSTRACT

Since its introduction, Facebook Prophet has attracted positive attention from both classical statisticians and the Bayesian statistics community. The model provides two built-in inference methods: maximum a posteriori estimation using the L-BFGS-B algorithm, and Markov Chain Monte Carlo (MCMC) sampling via the No-U-Turn Sampler (NUTS). While exploring various time-series forecasting problems using Bayesian inference with Prophet, we encountered limitations stemming from the inability to apply alternative inference techniques beyond those provided by default. Additionally, the fluent API design of Facebook Prophet proved insufficiently flexible for implementing our custom modeling ideas. To address these shortcomings, we developed a complete reimplementation of the Prophet model in PyMC, which enables us to extend the base model and evaluate and compare multiple Bayesian inference methods. In this paper, we present our PyMC-based implementation and analyze in detail the implementation of different Bayesian inference techniques. We consider full MCMC techniques, MAP estimation and Variational inference techniques on a time-series forecasting problem. We discuss in details the sampling approach, convergence diagnostics, forecasting metrics as well as their computational efficiency and detect possible issues which will be addressed in our future work.

연구 동기 및 목표

• Prophet의 내장 추론 방법을 넘어선 유연한 베이지안 실험의 동기 부여.
• PyMC에서 Facebook Prophet을 재구현하여 모듈식 구성요소와 대체 추론 기법 가능.
• 시계열 예측 작업에서 전체 MCMC(MH, NUTS, DMZ), MAP, 그리고 변분 추론(ADVI, FR-ADVI)을 체계적으로 비교.
• 추론의 수렴 진단, 예측 지표, 방법 간 계산 효율성 평가 across 방법들

제안 방법

• 추세, 계절성, 공휴일 구성요소에 대해 모듈형 API를 갖춘 PyMC에서 Facebook Prophet의 재구현.
• 세 가지 베이지안 추론 클래스 평가: 전체 MCMC(MH, NUTS, DMZ), MAP(L-BFGS-B), 변분 추론(ADVI와 FR-ADVI).
• 기본 Prophet 설정(조각별 선형 트렌드, 25개의 변경점, 연간 및 주간 계절성)을 사용하는 단변량 시계열(Wikipedia Peyton Manning 페이지 조회수) 분석.
• 수렴 및 진단 지표: MCMC의 R-hat, ESS, 자기상관; VI의 음의 ELBO 수렴; 예측 지표(MSE, RMSE, MAE, MAPE).
• 방법 간 샘플링 및 수렴 성능 비교, 계산 시간 및 유효 샘플 크기와 같은 요소 포함

Figure 1: Autocorrelation plot from Metropolis-Hastings for the slope parameter $k$ in the Linear Trend component

실험 결과

연구 질문

• RQ1 Prophet 유사 모델에 대해 전체 MCMC, MAP, VI 추론 방법이 정확도와 불확실성 표현에 있어 어떻게 비교되는가?
• RQ2 이 설정에서 예측 품질과 계산 효율성 사이에 가장 좋은 균형을 제공하는 베이지안 추론 기법은 무엇인가?
• RQ3 Prophet의 분해 가능한 시계열 모델에 적용될 때 각 방법의 수렴 진단 및 실제 제한점은 무엇인가?
• RQ4 ADVI/FR-ADVI가 Prophet 구성요소의 posterior를 신뢰성 있게 근사하는가, 그리고 이것이 불확실성 정량화에 어떤 영향을 미치는가?

주요 결과

• NUTS는 모든 파라미터에서 수렴하며 R-hat가 약 1.0004–1.0010 범위이고 ESS가 높습니다(예: k에 대해 3050.72, m에 대해 3267.21).
• MH 및 DMZ는 여러 파라미터에서 R-hat > 1.01로 수렴하지 않으며 대부분의 파라미터에서 ESS < 400으로 나타납니다. 심지어 큰 샘플 크기에서도.
• ADVI는 일부 경우 VI 방법 중 가장 좋은 예측 지표를 제공하지만 FR-ADVI는 NUTS와 비교했을 때 사후 불확실성을 과대 또는 과소 추정할 수 있습니다.
• MAP은 빠른 실행으로 고품질 예측을 제공하며 일반화된 최대가능추정(MLE)에 해당하는 특정한 불확실성 포착은 전체 MCMC에 비해 제한적입니다.
• VI 방법은 전체 MCMC에 비해 예측 지표가 비슷하게 나오면서 계산 시간을 크게 단축하지만, FullRank ADVI가 불확실성을 과대추정하고 ADVI가 과소추정하는 경향이 있습니다.
• 요약된 결과는 NUTS가 550 샘플과 193.77초로 수렴을 달성하는 반면 MH/DMZ는 수백만 샘플이 필요하고 여전히 수렴하지 못한다는 것을 보여주며, NUTS는 전체 샘플 대비 적어도 17%의 유효 샘플을 제공합니다.
• 변분 방법은 대략 80,000회의 반복에서 수렴하며 메서드에 따라 약 18–23초의 실행 시간을 보이고, MCMC 방법은 메서드에 따라 수천에서 수만 초에 이릅니다.
• MAP, ADVI, NUTS 각각 고유의 강점을 가지며, 저자들은 현재 설정에서 이 문제에 대해 NUTS가 잠재적으로 최적의 전반적 선택이 될 수 있다고 제시합니다.
• 향후 연구로는 MCMC를 위한 GPU 가속(JAX, NumPyro 등) 및 ADVI와 FR-ADVI의 사후 불확실성 특성에 대한 추가 조사가 포함됩니다.

Figure 2: Autocorrelation plot from NUTS for the slope parameter $k$ in the Linear Trend component