[論文レビュー] Reinforcement Learning of Spatio-Temporal Point Processes.

Shixiang Zhu, Shuang Li+1 more|arXiv (Cornell University)|Jun 13, 2019

Point processes and geometric inequalities参考文献 35被引用数 2

ひとこと要約

本稿では、ニューラルネットワークを用いて非一様なガウス拡散カーネルをパrameter化することで、複雑な空間時系列イベントデータの正確で解釈可能なモデリングを可能にするニューラル埋め込み空間時系列（NEST）ポイント過程モデルを提案する。この手法は、実際のデータ分布とモデルが生成する分布の乖離を直接最小化することで、頑健で計算的に効率的な学習を実現する模倣学習を採用しており、実世界のデータセットにおいて最先端の性能を達成している。

ABSTRACT

We present a novel Neural Embedding Spatio-Temporal (NEST) point process model for spatio-temporal discrete event data and develop an efficient imitation learning (a type of reinforcement learning) based approach for model fitting. Despite the rapid development of one-dimensional temporal point processes for discrete event data, the study of spatial-temporal aspects of such data is relatively scarce. Our model captures complex spatio-temporal dependence between discrete events by carefully design a mixture of heterogeneous Gaussian diffusion kernels, whose parameters are parameterized by neural networks. This is the key that our model can capture intricate spatial dependence patterns and yet still lead to interpretable results as we examine maps of Gaussian diffusion kernel parameters. The imitation learning model fitting for NEST is more robust since it directly measures the divergence between the empirical distributions between the training data and the model-generated data. Moreover, our imitation learning-based approach enjoys computational efficiency due to the explicit characterization of the reward function related to the likelihood function; furthermore, the likelihood function under our model enjoys tractable expression due to Gaussian kernel parameterization. Experiments based on real data show our method's good performance relative to the state-of-the-art and the good interpretability of NEST's result.

研究の動機と目的

• 離散的イベントデータにおける複雑な空間時系列的依存関係を効果的に捉えるモデルの不足を解消すること。
• 空間的・時間的側面で多様なイベントパターンを扱える、柔軟でありながら解釈可能な空間時系列ポイント過程のモデルを開発すること。
• 従来の尤度ベース手法と比較して、モデルのフィッティングの頑健性と計算効率を向上させること。
• トレーニングデータとモデルが生成するデータの直接比較を可能にするため、解析的尤度表現に基づいた報酬関数を導入すること。

提案手法

• 非一様なガウス拡散カーネルの混合により空間時系列的依存関係をパラメータ化し、カーネルのパラメータをニューラルネットワークで制御する。
• ガウスカーネルパラメータ化を用いてモデルの尤度関数を定式化し、効率的な計算を可能にする解析的扱いやすさを確保する。
• 実データからの経験的イベント分布とモデルが生成する分布の乖離を最小化することで、模倣学習を用いてモデルを学習する。
• 尤度関数に明示的に関連する報酬関数を模倣学習フレームワークに設計し、学習の安定性と効率を向上させる。
• ニューラルネットワークを用いて空間的・時間的特徴を埋め込み、イベントパターンにおける複雑な非線形的依存関係を学習可能にする。
• 空間マップ上の学習済みガウスカーネルパラメータの可視化により解釈性を実現し、イベントダイナミクスの背後にある空間時系列的構造を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースのポイント過程モデルは、離散的イベントデータにおける複雑な空間時系列的依存関係を効果的に捉えることができるか？
• RQ2 最大尤度推定と比較して、模倣学習は空間時系列ポイント過程のフィッティングの頑健性と効率をどのように向上させるか？
• RQ3 モデルの内部パラメータをどの程度解釈可能にすることで、イベントデータにおける意味のある空間的・時間的パターンを明らかにできるか？
• RQ4 提案されたNESTモデルは、既存の最先端手法と比較して、実世界の空間時系列イベント系列のモデリングで優れた性能を示すか？
• RQ5 ガウスカーネルパラメータ化における解析的尤度表現は、効率的でスケーラブルな学習を支援するか？

主な発見

• NESTモデルは、実世界の空間時系列イベントデータセットにおいて最先端の性能を達成し、既存手法と比較して優れた予測精度を示した。
• 模倣学習アプローチにより、トレーニングデータと生成データの分布乖離を直接測定することで、より頑健なモデルフィッティングが可能になった。
• ガウスカーネルパラメータ化のおかげで、尤度関数が解析的に扱いやすく保たれ、効率的な最適化が可能になった。
• 学習済みガウスカーネルパラメータの可視化により、解釈可能な空間的パターンが得られ、イベントダイナミクスの背後にある構造的要因への洞察が得られた。
• 尤度に基づく明示的な報酬関数のおかげで、計算のオーバーヘッドが低減され、学習の効率が向上した。
• 実験結果により、モデルが単純なモデルが捉えきれない複雑な空間時系列的依存関係を的確に捉えていることが確認された。