[論文レビュー] Going NUTS with ADVI: Exploring various Bayesian Inference techniques with Facebook Prophet

Jovan Krajevski, Biljana Tojtovska|arXiv (Cornell University)|Jan 27, 2026

Forecasting Techniques and Applications被引用数 0

ひとこと要約

本論文は Facebook Prophet を PyMC で再実装し、full MCMC、MAP、Variational Inference を用いた比較を行い、NUTS が最も信頼性高く収束しやすい一方、VI は速度を提供するが不確実性を過小/過大に見積もる可能性があることを示した。

ABSTRACT

Since its introduction, Facebook Prophet has attracted positive attention from both classical statisticians and the Bayesian statistics community. The model provides two built-in inference methods: maximum a posteriori estimation using the L-BFGS-B algorithm, and Markov Chain Monte Carlo (MCMC) sampling via the No-U-Turn Sampler (NUTS). While exploring various time-series forecasting problems using Bayesian inference with Prophet, we encountered limitations stemming from the inability to apply alternative inference techniques beyond those provided by default. Additionally, the fluent API design of Facebook Prophet proved insufficiently flexible for implementing our custom modeling ideas. To address these shortcomings, we developed a complete reimplementation of the Prophet model in PyMC, which enables us to extend the base model and evaluate and compare multiple Bayesian inference methods. In this paper, we present our PyMC-based implementation and analyze in detail the implementation of different Bayesian inference techniques. We consider full MCMC techniques, MAP estimation and Variational inference techniques on a time-series forecasting problem. We discuss in details the sampling approach, convergence diagnostics, forecasting metrics as well as their computational efficiency and detect possible issues which will be addressed in our future work.

研究の動機と目的

• Prophet の組み込み推論手法を超えた柔軟なベイズ実験を動機づける。
• Prophet を PyMC で再実装し、モジュール化可能な部品と代替推論技法を可能にする。
• 時系列予測タスクに対して full MCMC（MH、NUTS、DMZ）、MAP、Variational Inference（ADVI、FR-ADVI）を系統的に比較する。
• 推定収束診断、予測指標、計算効率を手法ごとに評価する。

提案手法

• Trend、seasonality、holidays コンポーネントのモジュール型 API を持つ PyMC での Facebook Prophet の再実装。
• 3 つのベイズ推論クラスの評価：full MCMC（MH、NUTS、DMZ）、MAP（L-BFGS-B）、Variational Inference（ADVI および FR-ADVI）。
• デフォルトの Prophet 設定（ピースワイズ線形トレンド、25 個の changepoints、 yearly および weekly seasonality ）を用いた単変量時系列データの分析。
• 収束と診断指標：MCMC の場合は R-hat、ESS、自己相関；VI の場合は負の ELBO の収束性；予測指標（MSE、RMSE、MAE、MAPE）。
• 手法間のサンプリングと収束性能の比較、計算時間と有効サンプルサイズを含む。

Figure 1: Autocorrelation plot from Metropolis-Hastings for the slope parameter $k$ in the Linear Trend component

実験結果

リサーチクエスチョン

• RQ1 Prophet に類似したモデルに対して、full MCMC、MAP、VI 推論法は精度と不確実性表現でどのように比較されるか？
• RQ2 この設定で予測品質と計算効率の最良のトレードオフを提供するベイズ推論技法はどれか？
• RQ3 Prophet の分解可能な時系列モデルに適用する際の各法の収束診断と実用的な限界は何か？
• RQ4 VI（ADVI/FR-ADVI）は Prophet のコンポーネントの後方分布を信頼性高く近似できるか、またそれが不確実性の定量化にどう影響するか？

主な発見

• NUTS はすべてのパラメータで収束し、R-hat は約 1.0004–1.0010、ESS は高い（例：k の 3050.72、m の 3267.21）。
• MH および DMZ は収束せず（複数パラメータで R-hat > 1.01、ほとんどのパラメータで ESS < 400）、大きなサンプル数を用いても同様。
• ADVI は VI 手法の中では予測指標で最良となるケースがあるが、FR-ADVI は NUTS と比較して事後不確実性を過大/過小評価する可能性。
• MAP は高品質な予測を高速で提供し、正則化された MLE にほぼ相当するが、全 MCMC に比べ不確実性の捕捉は限定的。
• VI 法は full MCMC に匹敵する予測指標を達成しつつ計算時間を大幅に短縮する。ただし、FullRank ADVI は不確実性を過大評価し得、ADVI は過小評価し得る。
• 要約結果として NUTS は 550 サンプル、193.77 秒で収束を達成する一方、MH/DMZ は数百万サンプルを要し収束せず、NUTS は総サンプルの少なくとも 17% の有効サンプルを提供。
• Variational 法は約 8 万回の反復で収束し、手法に応じて約 18–23 秒程度の実行時間。一方、MCMC 法は手法により数千秒から十万秒に及ぶ。
• MAP、ADVI、NUTS はそれぞれ固有の強みを持つ。著者は現状の設定下ではこの問題に対して NUTS が全体として最良の選択肢となる可能性を示唆。
• 今後の課題として MCMC の GPU 加速（例：JAX、NumPyro）や FR-ADVI および ADVI の事後不確実性挙動のさらなる調査を挙げている。

Figure 2: Autocorrelation plot from NUTS for the slope parameter $k$ in the Linear Trend component