[論文レビュー] Learning Registered Point Processes from Idiosyncratic Observations

Hongteng Xu, Lawrence Carin+1 more|arXiv (Cornell University)|Oct 3, 2017

Point processes and geometric inequalities参考文献 29被引用数 3

ひとこと要約

本論文は、個別的な要因による時間的ばらつきを示すイベント系列から登録済み点過程を学習するための新しい交互最適化手法を提案する。共通のパラメトリックな点過程モデルとサンプル固有のワーピング関数を同時に推定することで、推定されたワーピング関数を用いて逐次的に系列をアンワープし、最尤推定によりモデルを再推定する。この手法により、モデルの安定性が向上し、バイアスが低減され、解釈可能性が向上し、MIMIC-III や LinkedIn のジョブホッピングデータを含む合成データおよび実世界データにおいて、最先端の手法を上回る性能を達成する。

ABSTRACT

A parametric point process model is developed, with modeling based on the assumption that sequential observations often share latent phenomena, while also possessing idiosyncratic effects. An alternating optimization method is proposed to learn a "registered" point process that accounts for shared structure, as well as "warping" functions that characterize idiosyncratic aspects of each observed sequence. Under reasonable constraints, in each iteration we update the sample-specific warping functions by solving a set of constrained nonlinear programming problems in parallel, and update the model by maximum likelihood estimation. The justifiability, complexity and robustness of the proposed method are investigated in detail, and the influence of sequence stitching on the learning results is examined empirically. Experiments on both synthetic and real-world data demonstrate that the method yields explainable point process models, achieving encouraging results compared to state-of-the-art methods.

研究の動機と目的

• 個別的な要因による時間的ばらつきを示すイベント系列から共通の点過程モデルを学習するという課題に対処すること。
• 順序付きイベントデータにおける、背後に潜む共通の時間的ダイナミクスと個別的ワーピング効果を分離すること。
• 登録済み点過程とサンプル固有のワーピング関数を同時に推定する、堅牢でスケーラブルな手法を開発すること。
• 制約付き最適化により過剰登録および不十分登録を最小限に抑えることで、モデルの一般化性能と解釈可能性を向上させること。
• シーケンスのステッチングをデータ拡張戦略として用いる有効性を実証的に検証すること。

提案手法

• 本手法は交互最適化を用いる：各イテレーションで、まず推定された逆ワーピング関数を用いて観測された系列をアンワープし、最尤推定により登録済み点過程を学習する。
• ワーピング関数はランドマークを用いた区分線形関数としてモデル化され、そのパラメータは並列で制約付き非線形プログラミング問題を解くことで更新される。
• 過学習およびバイアスの低減のため、アンワープ関数の不偏性と滑らかさを強制する正則化項を最適化に組み込む。
• 合成トレーニング系列の多様性とモデルの頑健性を高めるために、ランダムにワープされた系列を連結するステッチング戦略を適用する。
• モデルは、θでパrameter化された指数関数に類似した強度関数を用い、イベント発生率は過去のイベントと共通パラメータに依存する。
• 収束性、計算量、頑健性に関する理論的分析と、合成データおよび実世界データセットを用いた実証的検証により、本手法の妥当性が裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 共同学習フレームワークは、イベント系列における共通の時間的ダイナミクスと個別的ワーピング効果を効果的に分離できるか？
• RQ2 提案手法の交互最適化法は、既存手法と比較して、モデルの精度、安定性、解釈可能性において優れているか？
• RQ3 シーケンスのステッチングは、登録済み点過程の学習性能にどのような影響を及けるか？
• RQ4 正則化係数γやランドマーク数Lといったハイパーパrameterの変化に対して、本手法はどれほど感度を示すか？
• RQ5 学習されたワーピング関数は、患者の入院やジョブホッピング行動といった実世界データにおいて、意味的で説明可能なパターンを的確に反映しているか？

主な発見

• 提案手法は、ベースライン手法と比較して、不十分登録および過剰登録のリスクが顕著に低く抑えられており、ワーピング関数推定の安定性と多様性が裏付けられる。
• 本手法は合成データおよび実世界データの両方でモデル性能が向上し、感染性行列が最先端のベースラインと比較してより情報量が多く現実的なイベント間依存関係を明らかにしている。
• シーケンスのステッチングを用いることでモデルの頑健性が向上し、特にトレーニング中に一度適用した場合に顕著な学習性能の向上が得られる。
• 本手法は主なハイパーパrameterの変動に対して頑健である：γ（10⁻³から10の範囲）およびL（5から100の範囲）の広い範囲で推定誤差が安定しており、L=20で最適な性能を示す。
• 学習されたワーピング関数は意味的なパターンを示している：主なサンプル（例：高齢の患者、若年層の従業員）は小さいずれを示しており、本手法が現実的な個別性を的確に捉えられることを確認している。
• 本手法が学習する感染性行列は、非自明なカテゴリ間関係を明らかにしている——例えば、FacebookとGoogleの間、またはNvidiaとテック大手企業との間で頻繁なジョブホッピングが見られる——これにより、モデルの解釈可能性と実世界への関連性が裏付けられる。