[論文レビュー] Learning Temporal Point Processes via Reinforcement Learning

Shuang Li, Shuai Xiao+4 more|arXiv (Cornell University)|Nov 12, 2018

Point processes and geometric inequalities被引用数 54

ひとこと要約

この論文は、事象生成を確率的ポリシーの行動としてモデル化することで、時間点過程学習を強化学習として扱い、解析的なRKHSベースの報酬関数を用いて学習する。MLEベースの手法より改善する。

ABSTRACT

Social goods, such as healthcare, smart city, and information networks, often produce ordered event data in continuous time. The generative processes of these event data can be very complex, requiring flexible models to capture their dynamics. Temporal point processes offer an elegant framework for modeling event data without discretizing the time. However, the existing maximum-likelihood-estimation (MLE) learning paradigm requires hand-crafting the intensity function beforehand and cannot directly monitor the goodness-of-fit of the estimated model in the process of training. To alleviate the risk of model-misspecification in MLE, we propose to generate samples from the generative model and monitor the quality of the samples in the process of training until the samples and the real data are indistinguishable. We take inspiration from reinforcement learning (RL) and treat the generation of each event as the action taken by a stochastic policy. We parameterize the policy as a flexible recurrent neural network and gradually improve the policy to mimic the observed event distribution. Since the reward function is unknown in this setting, we uncover an analytic and nonparametric form of the reward function using an inverse reinforcement learning formulation. This new RL framework allows us to derive an efficient policy gradient algorithm for learning flexible point process models, and we show that it performs well in both synthetic and real data.

研究の動機と目的

• 時間を離散化せずに連続時間で複雑なイベントダイナミクスをモデル化する動機づけ。
• 学習中に生成サンプルを直接モニタリングすることによって最大尤度推定の限界に対処する。
• 各イベントをアクションとして扱い、報酬を推測するためにIRLを用いる強化学習フレームワークを提案する。
• RKHSを用いて解析的な報酬とポリシー勾配更新を得る、実用的なトレーニングパイプラインを開発する。

提案手法

• 次のイベント時刻を、確率的ニューロンを持つRNNでパラメータ化された pi_theta(a|s_t) による確率的ポリシーのアクションとしてモデル化する。
• ポリシーを強度関数 lambda_theta(t|s_t) にリンクする。式は lambda_theta(t|s_t) = pi_theta(t-t_i|s_t_i) / (1 - ∫_{t_i}^{t} pi_theta(τ-t_i|s_t_i)dτ)。
• RKHS単位球上で未知の報酬関数を推定するために逆強化学習を用い、解析的な報酬形を得る。
• IRL問題をRKHSにおける専門家と学習者の平均埋め込み間の差異最小化へと変換し、閉形式の更新を可能にする（定理1）。
• 報酬対-go とベースラインを用いたポリシー勾配と分散削減技術でポリシーを最適化する。
• ポリシーを訓練するためのミニバッチを用いた実用的な RLPP アルゴリズムを提供する。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、強度関数を手作りせずに時系列点過程を学習するためのMLEの柔軟な代替手段を提供できるか？
• RQ2 RKHSベースの解析的報酬は点過程の効率的で安定したポリシー学習を可能にするか？
• RQ3 提案されたRLフレームワークは、合成データおよび実データ上で最先端手法（例：RMTPP、WGANTPP）とどう比較されるか？
• RQ4 確率的RNNポリシーを用いることが、複雑な時系列依存性のモデリングにどのような影響を与えるか？

主な発見

• RLPPはRMTPPを上回り、学習された強度関数の点で合成データ・実データの両方においてWGANTPPと同等かそれ以上である。
• The RKHS-based reward yields a closed-form expression for the optimal reward, enabling efficient policy updates via gradient methods.
• RLPP remains robust under model misspecification, matching or surpassing baseline methods in fitting empirical intensities.
• Compared to LGCP and non-parametric Hawkes, RLPP achieves similar or better empirical intensity without time discretization, with favorable runtime.
• RLPP demonstrates substantial runtime advantages over adversarial baselines (e.g., ~40x faster than WGANTPP) while maintaining performance.