[論文レビュー] Multiresolution Gaussian Processes

Emily B. Fox, David B. Dunson|arXiv (Cornell University)|Sep 5, 2012

Gaussian Processes and Bayesian Inference参考文献 36被引用数 30

ひとこと要約

本稿では、ネストされたパーティションツリー上で滑らかなGaussian process（GP）を階層的に結合することで、長距離相関および急激な変化を有する時系列をモデル化する多スケールGaussian process（mGP）を提案する。この手法により、GPの解析的周辺化が可能となり、正規化カットなどのグラフ理論的手法を用いたパーティション上の効率的推論が可能になり、MEG脳活動データにおける非定常的で不連続なダイナミクスを的確に捉えることができる。

ABSTRACT

We propose a multiresolution Gaussian process to capture long-range, non-Markovian dependencies while allowing for abrupt changes. The multiresolution GP hierarchically couples a collection of smooth GPs, each defined over an element of a random nested partition. Long-range dependencies are captured by the top-level GP while the partition points define the abrupt changes. Due to the inherent conjugacy of the GPs, one can analytically marginalize the GPs and compute the conditional likelihood of the observations given the partition tree. This property allows for efficient inference of the partition itself, for which we employ graph-theoretic techniques. We apply the multiresolution GP to the analysis of Magnetoencephalography (MEG) recordings of brain activity.

研究の動機と目的

• 標準的なGPが時系列における長距離相関と急激な変化の両方をモデル化する能力に限界を示す問題に対処する。
• 非マルコフ的モデルおよび定常GPの欠陥を克服し、非定常的で滑らかでないダイナミクスを捉える。
• 局所的な滑らかさと不連続性を定義するパーティション構造における効率的推論を可能にする。
• 複数の試行にわたる共有されるグローバルな軌道モデリングを支援しつつ、局所的信号特徴を保持する機能的データ解析を実現する。
• パーティションツリーにおける不確実性を統合することで、過剰に滑らかにすることを避ける、頑健で適応的な関数推定を実現する。

提案手法

• 各ノードが親ノードから平均を継承するGPに対応する階層的GPモデルを定義する。
• ツリー構造のパーティションを用いて局所的な定常性と不連続性を符号化し、トップレベルのGPが長距離依存性を捉える。
• GPの共役性を活用して、パーティションが与えられたもとでの観測値の周辺尤度を解析的に計算し、正確な推論を可能にする。
• 距離および共有されるツリーのレベルを符号化するパーティション依存の共分散関数を有するGPとして条件付き尤度を構築する。
• MCMCにおけるパーティション空間におけるグローバルおよびローカルな移動を効率的に行うために、グラフ理論の正規化カットを提案分布として用いる。
• パーティション構造を更新しつつも、尤度の解析的取り扱いを維持するグローバルおよびローカルなMCMCサンプラーを開発する。

実験結果

リサーチクエスチョン

• RQ1 階層的GPモデルは、時系列における長距離相関を効果的に捉えつつ、急激な変化を許容できるか？
• RQ2 柔軟でありながら解析的に取り扱えるベイジアン非パrametric手法として、非定常的で滑らかでない関数をどのようにモデル化できるか？
• RQ3 グラフ理論的パーティション技法（例：正規化カット）は、GPモデルにおけるパーティションツリーのMCMC推論に効果的に適応可能か？
• RQ4 多スケールGPは、MEGデータのような低SNR環境における複雑なダイナミクスをどの程度効果的に捉えるか？
• RQ5 パーティションツリーにおける不確実性を統合することで、固定またはマルコフ的モデルと比較して過剰に滑らかにすることをどの程度軽減できるか？

主な発見

• 多スケールGPは、MEGデータにおける長距離相関と急激な変化の両方を効果的にモデル化し、標準GPやマルコフ的モデルを上回る性能を示した。
• パーティションツリーに沿ったGPの解析的周辺化により、条件付き尤度の正確な計算が可能となり、効率的なMCMC推論が可能になった。
• MCMCにおける提案分布として正規化カットを用いることで、パーティション空間の有効な探索が実現され、収束性と混合性が向上した。
• 不連続性が存在しない場合には滑らかに見える関数推定が得られ、不連続性が存在する場合にはジャンプを適応的に捉えることができ、過剰に滑らかにすることを避けることができた。
• パーティション構造における不確実性を統合したため、複数試行にわたる主要な信号特徴を保持する頑健な推定が得られた。
• 本手法は複数の試行間で情報を共有しつつも、局所的信号特性を尊重することができ、ノイズが多く不規則にサンプリングされたデータに対する機能的データ解析に適している。