[論文レビュー] Mixed LICORS: A Nonparametric Algorithm for Predictive State Reconstruction

Georg M. Goerg, Cosma Rohilla Shalizi|PubMed|Nov 15, 2012

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

Mixed LICORS は、極値分布の混合として予測分布をモデル化することで、時空間データからの予測状態再構成を向上させる非パrametricで EM に類似したソフトクラスタリング手法を導入する。これは、特にデータが限られている状況において、ハードクラスタリングの LICORS よりも予測の外挿精度を顕著に向上させる。加えて、生成モデルを必要とせず、推定された力学的特性からシミュレーションを可能にする。

ABSTRACT

We introduce <i>mixed LICORS</i>, an algorithm for learning nonlinear, high-dimensional dynamics from spatio-temporal data, suitable for both prediction and simulation. Mixed LICORS extends the recent LICORS algorithm (Goerg and Shalizi, 2012) from hard clustering of predictive distributions to a non-parametric, EM-like soft clustering. This retains the asymptotic predictive optimality of LICORS, but, as we show in simulations, greatly improves out-of-sample forecasts with limited data. The new method is implemented in the publicly-available R package LICORS.

研究の動機と目的

• 時空間データにおけるより良い予測状態推定を実現するため、ハードクラスタリングの LICORS アルゴリズムの非パrametricかつ確率的拡張を開発すること。
• 限られたデータで高次元かつ非線形な時空間過程の外挿予測性能を向上させること。
• 既知の生成モデルを必要とせず、推定された予測ダイナミクスから新しい時空間過程をシミュレーション可能にする。
• 確率的状態割り当てとより良いモデルの解釈可能性を可能にするハードクラスタリングの代替としてのソフトクラスタリングを提供すること。
• 非パrametricな EM に類似した手続きを用いて、予測状態の数を自動的に選択すること。

提案手法

• Mixed LICORS は、各時空間的点における予測分布を極値分布の混合としてモデル化し、混合の重みが予測状態を表す。
• 観測データから混合重みと成分分布を推定するために、非パrametricな EM に類似したアルゴリズムを採用し、ライトコーン近傍を十分統計量として用いる。
• 非パrametricな成分密度推定にカーネル密度推定法を用い、EM フレームワークを繰り返し状態割り当てと成分パラメータの更新に適用する。
• モデルの適合度と複雑さのバランスを取る非パrametric基準を用いて、予測状態の数を自動的に選択する。
• 条件付き予測分布 P(X|S) と状態の事後分布 P(S|history) の両方を推定することで、完全な生成的シミュレーションを可能にする。
• シミュレーションは、まず P(S|history) から予測状態をサンプリングし、その後 P(X|S) から X をサンプリングすることで行い、新しい初期条件の探索が可能になる。

実験結果

リサーチクエスチョン

• RQ1 時空間過程において、予測分布のソフトクラスタリングは、ハードクラスタリングに比べて外挿予測精度を向上させることができるか？
• RQ2 非パrametricな手法として、基礎となるダイナミクスのパラメトリックな形を仮定せずに、予測状態を効果的に推定できるか？
• RQ3 データが限られている状況で、Mixed LICORS は真の予測状態空間をハードクラスタリングの LICORS よりもよく再構成できるか？
• RQ4 Mixed LICORS は、時空間過程の生成メカニズムを十分に学習でき、新しい初期条件から新しい実現をシミュレーションできるか？
• RQ5 非パrametricな設定において、予測状態の数の自動選択が実行可能で効果的であるか？

主な発見

• Mixed LICORS は、特にデータが少ない状況において、ハードクラスタリングの LICORS に比べて外挿予測精度が顕著に向上する。
• 理論的妥当性を裏付けるように、真の予測状態空間とダイナミクスを正確に回復しており、観測済みおよび新しい初期条件からも正確な新しい実現のシミュレーションが可能である。
• Mixed LICORS から推定されたダイナミクスを用いたシミュレーションは、異なる初期条件からでも真のプロセスの定性的な構造を再現する。
• 非パrametric基準を用いて、事前に指定する必要なく、予測状態の数を自動的に選択する。
• Mixed LICORS は、推定された予測分布からの完全な生成的シミュレーションを可能にし、未観測のシナリオにおけるモデルの検証と予測が可能になる。
• 非パrametric混合モデルにおける理論的同定可能性の課題が存在するが、Mixed LICORS は実際の応用において収束性や同定可能性の問題を示さず、安定して動作する。