[論文レビュー] Wasserstein Learning of Deep Generative Point Process Models

Shuai Xiao, Mehrdad Farajtabar+4 more|arXiv (Cornell University)|May 23, 2017

Point processes and geometric inequalities参考文献 17被引用数 61

ひとこと要約

この論文は、Wasserstein GANフレームワーク（WGANTPP）で訓練された時間点過程の強度なし生成モデルを提案し、モデルミスpecificationおよびデータ混合下で特に尤度ベースの手法より適合が改善されることを示します。

ABSTRACT

Point processes are becoming very popular in modeling asynchronous sequential data due to their sound mathematical foundation and strength in modeling a variety of real-world phenomena. Currently, they are often characterized via intensity function which limits model's expressiveness due to unrealistic assumptions on its parametric form used in practice. Furthermore, they are learned via maximum likelihood approach which is prone to failure in multi-modal distributions of sequences. In this paper, we propose an intensity-free approach for point processes modeling that transforms nuisance processes to a target one. Furthermore, we train the model using a likelihood-free leveraging Wasserstein distance between point processes. Experiments on various synthetic and real-world data substantiate the superiority of the proposed point process model over conventional ones.

研究の動機と目的

• 点過程における制限的なパラメトリック強度形を除去する動機付け。
• 点過程のためのWasserstein距離による尤度なしの学習フレームワークを開発。
• 系列生成と評価のための再帰的ネットワークに基づくジェネレータ–ディスクリミネータアーキテクチャを提案。
• WGANTPPの学習を安定化させる現実的なリプシッツ正則化スキームを導入。
• 合成データと実データセットの多様性に対して頑健で、優れた性能を示す。

提案手法

• 点過程を定義し、強度なしモデリングフレームワークを導入。
• 扱いやすい系列距離 ||ξ−ρ||⋆ を用いた点過程分布間のWasserstein距離を採用。
• ニューラルネットワークベースのジェネレータ gθ を用いてポアソンベースのノイズ過程をイベント系列に変換。
• ニューラルネットワークベースのディスクリミネータ f_w を用いて系列にスコアを割り当て、1-Lipschitz制約を課す。
• 明示的な勾配クリッピングを回避するリプシッツベースのペナルティでWasserstein目的関数を正則化（式(10)）。
• ジェネレータとディスクリミネータの両方の再帰型ニューラルネットワークアーキテクチャを用いて逐次イベントデータを扱う。

実験結果

リサーチクエスチョン

• RQ1 強度なし・尤度なしのGANフレームワークが、パラメトリックな強度関数を指定せずにデータから時系列点過程を正確に学習できるのか？
• RQ2 Wassersteinベースの学習は、合成データおよび実データを含む混合プロセスのシナリオを含む場合、最大尤度推定とどのように比較されるのか？
• RQ3 WGANTPPは基礎となる生成過程がミス指定または多モーダル（データ混合）であっても性能を保持するのか？

主な発見

Data	Estimator	MLE-IP	MLE-SE	MLE-SC	MLE-NN	WGAN
MIMIC	Deviation	0.150	0.160	0.339	0.686	0.122
Meme	Deviation	0.839	1.008	0.701	0.920	0.351
MAS	Deviation	1.089	1.693	1.592	2.712	0.849
NYSE	Deviation	0.799	0.426	0.361	0.347	0.303

• WGANTPPは、パラメトリック形が未知またはミス指定された場合でも合成過程に対して尤度ベースモデルより経験的強度が良好になる。
• WGANTPPはQQプロット挙動をより忠実に表現し、混合過程におけるモードドロップを減少させる。
• 実データセット（MIMIC, MemeTracker, MAS, NYSE）上で、WGANTPPはMLEベースの方法よりも強度の偏差が小さい。
• この手法は多様なデータソースを頑健に扱い、多くの設定でMLEベースのニューラル点過程モデル（MLE-NN）を上回る。
• 経験的結果は、モデルミス指定のシナリオで、強度なし学習とWasserstein距離がパラメトリックMLEを上回る可能性を示す。