[論文レビュー] Probabilistic structure discovery in time series data

David M. Janz, Brooks Paige+3 more|arXiv (Cornell University)|Nov 21, 2016

Gaussian Processes and Bayesian Inference参考文献 15被引用数 5

ひとこと要約

本稿では、ガウス過程モデルにおけるカーネル構成の組み合わせに関する事後分布を推定するために、確率的文脈自由文法の事前分布と集団モンテカルロ推定を用いて、完全ベイジアンな時系列構造同定手法を提案する。グリーディ最適化手法とは異なり、より適切にキャリブレーションされた不確実性推定を提供し、複数の妥当なモデル構造を明らかにすることで、モデル選択における解釈可能性と信頼性を向上させる。

ABSTRACT

Existing methods for structure discovery in time series data construct interpretable, compositional kernels for Gaussian process regression models. While the learned Gaussian process model provides posterior mean and variance estimates, typically the structure is learned via a greedy optimization procedure. This restricts the space of possible solutions and leads to over-confident uncertainty estimates. We introduce a fully Bayesian approach, inferring a full posterior over structures, which more reliably captures the uncertainty of the model.

研究の動機と目的

• ガウス過程モデルにおけるカーネル構造同定において、グリーディ最適化手法が過信された不確実性推定を生じるという限界を是正すること。
• カーネル構造とハイパーパrameterの両方の事後分布を推定する完全ベイジアンフレームワークを構築し、モデルの不確実性をより信頼性高く捉えること。
• 複数の妥当なカーネル構成を明らかにすることで、解釈可能なモデル同定を可能にすること。
• 従来のカーネル統合の研究を拡張し、真の確率的文脈自由文法をカーネル構成の事前分布として用いること。
• より広範なモデリングパイプラインに統合可能な、確率的プログラミングフレームワーク（Anglican）への統合を実現すること。

提案手法

• 本手法は、基本カーネルの和および積によるカーネル構成のための生成規則を持つ確率的文脈自由文法を用い、カーネル構造の事前分布を定義する。
• カーネルハイパーパrameterに分離可能な事前分布を設定し、その分布は基本カーネルの種別と構造に条件づけられる。
• 集団モンテカルロアルゴリズムを用いて、カーネル構造とパrameterの事後分布推定を実行し、リサンプリング・モード移動ステップを含む。
• 各粒子は、カーネル構造の変更（追加・削除・置換）またはハイパーパrameterにハミルトニアン・モンテカルロを適用することで変異させる。
• 予測分布は、ガウス過程事後分布の重み付き混合として計算され、解析的扱いが保たれる。
• フレームワークは、他の確率的モデルとの統合を可能にするため、Anglican確率的プログラミング言語に実装されている。

実験結果

リサーチクエスチョン

• RQ1 時系列におけるカーネル構造同定の完全ベイジアンアプローチは、グリーディ最適化と比較して不確実性の定量的評価を改善できるか？
• RQ2 カーネル構造とハイパーパrameterの両方に不確実性をモデル化すると、予測性能とキャリブレーションにどのような影響を与えるか？
• RQ3 確率的文脈自由文法の事前分布は、多様で解釈可能なカーネル構成をどれほど効果的に探索できるか？
• RQ4 事後サンプリングによって明らかにされた複数の妥当なカーネル構造は、モデルの解釈性にどのように寄与するか？
• RQ5 提案手法は、エンドツーエンドのモデリングに適した確率的プログラミングパイプラインに効率的に統合可能か？

主な発見

• 提案手法は、マウナ・ロアCO2データセット上での外挿タスクにおいて、グリーディ手法が過信された予測を生じるのに対し、より適切にキャリブレーションされた不確実性推定を達成した。
• 事後サンプルは、データを説明する複数の競合する解釈（線形、周期的、平方指数成分の異なる組み合わせなど）を明らかにし、モデルの解釈性を向上させた。
• 確率的文脈自由文法の事前分布を用いることで、従来の有限で制限された集合にとどまらない、豊かなカーネル構成空間の体系的探索が可能になった。
• リサンプリング・モード移動ステップを含む集団モンテカルロ法は、カーネル構造とハイパーパrameterの同時事後分布を効果的に近似でき、実用的な推定を可能にした。
• 重み付き混合ガウス過程事後分布を用いることで、解析的予測分布を維持し、計算効率を確保した。
• Anglicanへの統合により、大規模な確率的モデリングパイプラインへのシームレスな統合が可能となり、拡張性とモジュラリティを支援した。