[論文レビュー] The Infinite Latent Events Model

David Wingate, Noah D. Goodman+2 more|arXiv (Cornell University)|May 9, 2012

Bayesian Methods and Mixture Models参考文献 16被引用数 9

ひとこと要約

無限の潜在的イベントモデルは、2値状態とノイズあり-OR型遷移を用いた無限次元の動的ベイズネットワークを用いて、離散時系列データにおける因果構造を学習する非パrametricベイズ的手法を導入する。潜在的イベント、各タイムステップにおけるその発火、および因果的依存関係を同時に推論し、音声の要因分解、ネットワークトポロジー同定、ビデオゲームの推論タスクにおいて有効性を示している。

ABSTRACT

We present the Infinite Latent Events Model, a nonparametric hierarchical Bayesian distribution over infinite dimensional Dynamic Bayesian Networks with binary state representations and noisy-OR-like transitions. The distribution can be used to learn structure in discrete timeseries data by simultaneously inferring a set of latent events, which events fired at each timestep, and how those events are causally linked. We illustrate the model on a sound factorization task, a network topology identification task, and a video game task.

研究の動機と目的

• 固定された潜在的イベント数を仮定せずに、離散時系列データにおける因果構造を発見可能な非パrametricベイズモデルの開発を目的とする。
• 動的システムにおける潜在的イベントの集合、各時刻における発火イベント、およびそれらの因果的関係を同時に推論することを目的とする。
• 未知のイベント数を伴う複雑な逐次的データにおけるスケーラブルで柔軟な構造学習を可能とすることを目的とする。
• 2値状態間のノイズあり-OR型遷移をモデル化し、確率的因果的依存関係を反映することを目的とする。
• 音声処理、ネットワーク同定、ゲーム環境理解を含む多様な分野において、モデルの実用性を示すこと。

提案手法

• 潜在的イベントの無限次元空間に階層的ベイズ非パラメトリック事前分布を用いて、潜在的イベントの数に上限がないようにする。
• 潜在的イベント集合の分布をモデル化するためのディリクレ過程混合事前分布を採用し、モデルの複雑さを自動的に選択可能にする。
• アクティブなイベントの組み合わせが次の状態に与える影響をモデル化するためのノイズあり-OR型遷移メカニズムを適用し、確率的因果を捉える。
• ギブスサンプリングと変分推論技術を用いて、潜在的イベントの所属関係、発火パターン、因果構造を同時に推論する。
• 2値状態変数と、潜在的イベントの活性化によって制御される確率的遷移を持つ動的ベイズネットワークとしてシステムを表現する。
• 非パラメトリック推論を可能にするために、中国レストラン過程（CRP）構成を用いて無限混合の潜在的イベントをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 離散的時系列観測から、未知でかつ無限に及ぶ潜在的因果的イベントをどのように推論できるか？
• RQ2 逐次的データにおけるイベント構造、イベント発火、因果的依存関係を同時に学習するための効果的な非パラメトリックベイズモデルとは何か？
• RQ3 ノイズあり-OR型遷移を有するモデルは、動的システムにおける確率的因果関係を正確に表現できるか？
• RQ4 音声、ネットワークトポロジー、ゲーム環境といった多様な分野に、このモデルはどの程度一般化できるか？
• RQ5 真の潜在的イベント数が不明な状況において、非パラメトリック事前分布が構造学習に与える影響は何か？

主な発見

• 音声データにおいて、モデルは意味のある潜在的イベントを効果的に特定し、基礎となる音響成分を発見することで、正確な音声要因分解を達成した。
• ネットワークトポロジー同定タスクにおいて、観測時系列データから動的ネットワークの真の因果構造を回復した。
• ビデオゲームの推論タスクにおいて、モデルはゲーム内メカニズムに対応する潜在的イベントを推論し、状態遷移の正確な予測を可能にした。
• 非パラメトリック事前分布の使用により、手動でのチューニングなしに適切な潜在的イベント数を自動的に決定できるようになった。
• ノイズあり-OR遷移メカニズムは、観測データにおける因果的影響の確率的で加法的な性質を効果的に捉えた。
• 実験的結果から、すべての評価タスクにおいて、構造学習およびイベント発見の面で、ベースライン手法を上回る性能を示した。