[論文レビュー] Approximate Bayesian Inference in Linear State Space Models for Intermittent Demand Forecasting at Scale

Matthias Seeger, Syama Sundar Rangapuram+5 more|arXiv (Cornell University)|Sep 22, 2017

Forecasting Techniques and Applications参考文献 15被引用数 12

ひとこと要約

本論文は、産業規模の間欠的かつバースト型需要予測を想定した線形ステートスプライスモデルにおけるスケーラブルな近似ベイズ推論手法を提案する。ニュートン・ラプソン最適化を用いて線形時間にまで簡略化されたカルマンスムージングを活用することで、非ガウス型ステートスプライスモデルにおける効率的な最尤推定が可能となり、数億件の商品・日単位の実世界のeコマースデータにおいて、既存手法を上回る性能を発揮する。

ABSTRACT

We present a scalable and robust Bayesian inference method for linear state space models. The method is applied to demand forecasting in the context of a large e-commerce platform, paying special attention to intermittent and bursty target statistics. Inference is approximated by the Newton-Raphson algorithm, reduced to linear-time Kalman smoothing, which allows us to operate on several orders of magnitude larger problems than previous related work. In a study on large real-world sales datasets, our method outperforms competing approaches on fast and medium moving items.

研究の動機と目的

• 大規模eコマース環境における、ロバストで自動的かつスケーラブルなベイズ推論手法の開発。
• 大規模な製品カタログで一般的な間欠的かつバースト型需要パターンの予測において、ガウス分布仮定の限界を克服すること。
• 休日、プロ motion、価格変更などの特徴を組み込み、短期および長期のリードタイムにおける正確な分位数予測を可能にすること。
• カルマンスムージングを用いることで、従来の近似推論手法の計算ボトル neck を解消し、計算量を立方時間から線形時間へ削減すること。

提案手法

• 長期的なトレンドおよび季節性を扱う一般化線形モデルと、時系列の連続性および不確実性の定量化に用いる指数平滑化を組み合わせたハイブリッドモデルを採用する。
• 間欠的かつバースト型需要に特化した3段階の尤度関数を導入：ゼロインフレート型、単位質量、2以上の値に対してポアソン分布を適用。
• ラプラス近似を用いた近似ベイズ推論を実装し、ニュートン・ラプソン最適化に再定式化することで計算コストを低減する。
• 推論計算を1イテレーションあたり1回のカルマンスムージング処理に集約し、立方時間から線形時間へと計算量を削減することで、大規模データセットへのスケーラビリティを実現する。
• バースト型需要条件下でもラプラス近似の安定性を高めるために、新規のポアソン尤度転送関数を導入する。
• 欠損データおよびパラメータ化された尤度ポテンシャルをサポートし、カルマンフィルタを前向きおよび随伴パスで通すことで、効率的な勾配計算を実現する。

実験結果

リサーチクエスチョン

• RQ1 産業スケールでの非ガウス的で間欠的かつバースト型の需要パターンを扱える、線形ステートスプライスモデル向けのスケーラブルなベイズ推論手法を開発できるか？
• RQ2 一般化線形モデルと指数平滑化を組み合わせることで、スパースな需要状況下における中・長期リードタイムの予測精度が向上するか？
• RQ3 ニュートン・ラプソンとカルマンスムージングを用いた近似推論が、実世界のeコマースデータにおいてもロバスト性と正確性を維持しながら線形時間の計算量を達成できるか？
• RQ4 提案された3段階尤度関数とロバストなポアソン転送関数は、標準のポアソンモデルやゼロインフレートモデルに比べて、バースト型需要環境下で性能をどのように向上させるか？
• RQ5 高次元かつ大規模な予測システムにおいて、自動的でエキスパートフリーのパラメータ学習をどの程度達成できるか？

主な発見

• 提案手法は、大規模な実世界のeコマースデータにおいて、高速および中程度の移動商品に対して、他の手法を上回る性能を示し、特に分位数予測の正確性が優れている。
• 線形時間のカルマンスムージングによる計算量削減により、従来の関連研究と比較して数個のオーダーも多くのデータを処理可能となり、産業スケールの応用が現実可能となった。
• 3段階尤度関数とロバストなポアソン転送関数は性能向上に不可欠であり、これらの革新がなければバースト型データに対して手法は失敗する。
• カルマンスムージングを用いたニュートン・ラプソンベースの推論は、実世界のユースケースにおいてL-BFGSベースの代替手法よりもロバストである。L-BFGSは収束に失敗するケースが多かった。
• 従来のモデルが捉えられなかった、時間経過に伴い変化する「週の曜日効果」のようなゆっくりとした時系列パターンのモデル化に成功している。
• 休日、プロ motion、価格変更などの動的特徴を組み込んだ長期予測が可能であり、数か月先までの正確な予測が実現されている。