[論文レビュー] Fast Estimation of Causal Interactions using Wold Processes

Flávio Figueiredo, Guilherme Resende Borges+2 more|arXiv (Cornell University)|Jul 1, 2018

Random Matrices and Applications被引用数 1

ひとこと要約

この論文では、多変量点過程におけるグレインジャー因果行列の高速推定のため、Wold過程を用いる最初の手法であるGrangerBuscaを紹介する。Wold過程を活用することで、1イテレーションあたりの計算量がO(N(log N + log K))に抑えられ、最先端手法よりも顕著に高速化され、全データセットにおける正確でスケーラブルな学習が可能となり、MemetrackerサブセットではPrecision@10が3倍向上した。

ABSTRACT

We here focus on the task of learning Granger causality matrices for multivariate point processes. In order to accomplish this task, our work is the first to explore the use of Wold processes. By doing so, we are able to develop asymptotically fast MCMC learning algorithms. With $N$ being the total number of events and $K$ the number of processes, our learning algorithm has a $O(N(\,\log(N)\,+\,\log(K)))$ cost per iteration. This is much faster than the $O(N^3\,K^2)$ or $O(K^3)$ for the state of the art. Our approach, called GrangerBusca, is validated on nine datasets. This is an advance in relation to most prior efforts which focus mostly on subsets of the Memetracker data. Regarding accuracy, GrangerBusca is three times more accurate (in Precision@10) than the state of the art for the commonly explored subsets Memetracker. Due to GrangerBusca's much lower training complexity, our approach is the only one able to train models for larger, full, sets of data.

研究の動機と目的

• 多変量点過程におけるグレインジャー因果行列をスケーラブルかつ正確に学習するための手法の開発。
• 従来の手法がデータサイズやプロセス数の増加に伴い計算コストが著しく上昇する問題を克服すること。
• 先行研究が主にサブセットに限定して学習していたのに対し、全規模の大規模データセットへの学習を可能にすること。
• 推論および学習の高速化を実現しながら、予測精度を維持または向上させること。
• Wold過程を時系列点過程における因果的相互作用推定に新たな応用を施すこと。

提案手法

• 多変量点過程データの記憶および依存構造を表現するために、Wold過程を確率過程モデルとして採用する。
• Wold過程の条件付き強度の性質を活用した、尤度に基づく学習フレームワークを定式化する。
• 主な革新点は、1イテレーションあたりの漸近的計算量がO(N(log N + log K))であるMCMC学習アルゴリズムを導出することにある。
• Wold過程に内在するマルコフ性およびスパースな依存構造を活用して計算を高速化する。
• 全データ行列への依存を低減するように最適化された、点過程尤度に特化した効率的なサンプリング戦略を用いる。
• 複数のプロセスにわたる因果的相互作用行列に対するスケーラブルな後方確率推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Wold過程は、多変量点過程における因果的相互作用を効果的にモデル化および推定するために適しているか？
• RQ2 Wold過程を用いたグレインジャー因果行列の学習における計算量は、従来手法と比較してどの程度か？
• RQ3 本手法は、実世界のデータセットにおいて、正確性およびスケーラビリティの観点でどの程度の性能を示すか？
• RQ4 本手法はサブセットではなく全データセットでの学習が可能か？ その場合、どのようなパフォーマンス向上が得られるか？
• RQ5 計算コストの低減により、因果的相互作用の推定精度が向上するか？

主な発見

• GrangerBuscaは1イテレーションあたりの計算量がO(N(log N + log K))であり、最先端手法のO(N³K²)またはO(K³)と比較して顕著に高速である。
• 一般的に用いられるMemetrackerサブセットでは、現在の最先端手法と比較してPrecision@10が300%向上した。
• 本手法は、その低い学習計算量のおかげで、唯一、全規模の大規模データセットでのモデル学習が可能な手法である。
• Wold過程の導入により、因果的相互作用推定のためのより効率的かつスケーラブルなMCMC推論フレームワークが実現された。
• 計算コストを著しく削減しながらも高い精度を維持でき、実世界の時系列データへの応用範囲を広げられるようになった。