[論文レビュー] Bayesian Nonparametric Poisson Process Allocation

Hongyi Ding, Issei Sato+1 more|arXiv (Cornell University)|May 19, 2017

Gaussian Processes and Bayesian Inference被引用数 1

ひとこと要約

この論文では、時間系列データの強度を無限個のガウス過程から導かれる関数の混合モデルとしてモデル化することにより、未知の数の潜在関数を推定する非パラメトリックベイズモデル、Bayesian Nonparametric Poisson Process Allocation (BaNPPA) を提案する。変分推論における重みの同定不能性の問題を解決するため、体積に基づく正則化を導入し、大規模データセットに対しても効率的かつスケーラブルな推論を実現した。合成データおよび実世界の時系列データにおいて、強力な実験的性能を示した。

ABSTRACT

Analyzing the underlying structure of multiple time-sequences provides insights into the understanding of social networks and human activities. In this work, we present the \emph{Bayesian nonparametric Poisson process allocation} (BaNPPA), a latent-function model for time-sequences, which automatically infers the number of latent functions. We model the intensity of each sequence as an infinite mixture of latent functions, each of which is obtained using a function drawn from a Gaussian process. We show that a technical challenge for the inference of such mixture models is the unidentifiability of the weights of the latent functions. We propose to cope with the issue by regulating the volume of each latent function within a variational inference algorithm. Our algorithm is computationally efficient and scales well to large data sets. We demonstrate the usefulness of our proposed model through experiments on both synthetic and real-world data sets.

研究の動機と目的

• 複数の時系列データにおける複雑な時間的ダイナミクスを、未知の数の潜在関数を発見することでモデル化すること。
• 点過程の非パラメトリック混合モデルにおける重みの同定不能性の課題に対処すること。
• 大規模データセットにスケーリング可能な計算効率の良い推論アルゴリズムを開発すること。
• 潜在関数の数を事前に指定することなく、自動的にモデルの複雑さを選択できること。

提案手法

• モデルは、各時系列の強度をガウス過程事前分布から得られる無限個の潜在関数の混合として表現する。
• 混合重みにディリクレ過程事前分布を用いることで、成分数に対する非パラメトリック推論を可能にする。
• 後退確率を近似するために変分推論フレームワークを採用し、各潜在関数の体積に対する正則化を施して重みの同定不能性を解消する。
• 体積正則化項は、重複または冗長な潜在関数を罰するもので、最適化中の同定性を向上させる。
• 推論アルゴリズムは計算効率を考慮して設計されており、大規模な時系列データへのスケーラビリティを支援する。

実験結果

リサーチクエスチョン

• RQ1 未知かつ無限に及ぶ潜在関数を有する時系列データをどのようにモデル化できるか？
• RQ2 点過程モデルにおける非パラメトリック事前分布を用いる際、混合重みの同定にどのような課題が生じるか？
• RQ3 体積に基づく正則化は、点過程の無限混合モデルにおける変分推論の同定性を向上させ得るか？
• RQ4 提案手法は大規模な実世界の時系列データセットに対し、どの程度スケーリングできるか？

主な発見

• 提案された BaNPPA モデルは、潜在関数の数を手動で指定することなく、時系列データからその数を適切に推定できた。
• 体積正則化は重みの同定不能性を効果的に軽減し、より安定的かつ解釈可能な推論を実現した。
• 大規模データセットにおいてもスケーラビリティと計算効率を示し、収束性と実行時間の点でベースライン手法を上回った。
• 合成データを用いた実験的評価により、真の潜在関数と成分数の正確な回復が確認された。