[論文レビュー] Decoupled Learning for Factorial Marked Temporal Point Processes

Weichang Wu, Junchi Yan+2 more|arXiv (Cornell University)|Jan 21, 2018

Point processes and geometric inequalities参考文献 20被引用数 4

ひとこと要約

本稿では、イベントが複数の離散的マーカー（例：職位と会社）を持つ因子的マーク付き時系列点過程のためのデカップルド学習フレームワークを提案する。問題をロジスティック回帰に再定式化し、スパースグループ正則化を適用することで、計算複雑性を著しく低減し、カップルドモデルや単一マーカーモデルと比較してLinkedInおよびICUデータセットにおける予測精度を向上させる。

ABSTRACT

This paper introduces the factorial marked temporal point process model and presents efficient learning methods. In conventional (multi-dimensional) marked temporal point process models, event is often encoded by a single discrete variable i.e. a marker. In this paper, we describe the factorial marked point processes whereby time-stamped event is factored into multiple markers. Accordingly the size of the infectivity matrix modeling the effect between pairwise markers is in power order w.r.t. the number of the discrete marker space. We propose a decoupled learning method with two learning procedures: i) directly solving the model based on two techniques: Alternating Direction Method of Multipliers and Fast Iterative Shrinkage-Thresholding Algorithm; ii) involving a reformulation that transforms the original problem into a Logistic Regression model for more efficient learning. Moreover, a sparse group regularizer is added to identify the key profile features and event labels. Empirical results on real world datasets demonstrate the efficiency of our decoupled and reformulated method. The source code is available online.

研究の動機と目的

• 時系列点過程におけるマルチマーカーイベントのモデリングにおいて、マーカー空間の増加に伴い指数関数的に増大する感染性行列のサイズに起因する計算爆発を解消すること。
• 履歴シーケンスから複数のイベントマーカー（例：職位と会社）を同時に予測可能な、因子的マーク付き時系列点過程のための効率的学習手法を開発すること。
• スパースグループ正則化を組み込むことで、重要なプロファイル特徴やイベントラベルを特定し、モデルの解釈性と特徴選択を向上させること。
• LinkedInのキャリア進捗とMIMIC-IIのICU遷移予測といった実世界データセットにおいて、デカップルド学習の有効性を実証すること。

提案手法

• ジョイントマーカー空間を個々のコンポONENTに分離するデカップルド学習アプローチを提案し、感染性行列の複雑性を O(|C|×|P|×|T|) から O(|C|+|P|+|T|) に低減する。
• 正則化最適化問題を直接解くために、交替方向乗数法（ADMM）と高速反復ソフトシェイピング・スレッディング・アルゴリズム（FISTA）を用いる。
• 元の判別的目的関数をロジスティック回帰フレームワークに再定式化し、標準ソルバーを用いてより高速かつスケーラブルな学習を可能にする。
• 個々の特徴とマーカーグループの両方にスパarsityを促進するため、ℓ₁とグループラasso正則化を組み合わせたスパースグループ正則化を適用する。
• イベント発生後の抑制効果を反映する、相互に補い合うプロセス（MCP）を強調して強度関数をモデル化する。これは、新しい職を得た後の求職活動の減少といった現実世界のダイナミクスを反映している。
• イベント履歴と個別プロファイルを用いて、次回のイベントのマーカー（職位、会社、期間、遷移など）を複数のラベルを同時に予測する。

実験結果

リサーチクエスチョン

• RQ1 カップルドモデルと比較して、デカップルド学習は因子的マーク付き時系列点過程における計算負担を著しく低減できるか？
• RQ2 学習目的関数をロジスティック回帰フレームワークに再定式化することで、学習効率と予測性能が向上するか？
• RQ3 スパースグループ正則化は、予測に有効なプロファイル特徴やイベントマーカーを効果的に特定できるか？
• RQ4 相互に補い合うプロセス（MCP）強度関数は、イベント発生後の抑制といった現実世界のダイナミクスをよりよく捉えられるか？
• RQ5 特に長時間履歴と短時間履歴の両方において、モデルの性能はどのように変化するか？

主な発見

• LinkedIn-Careerデータセットでは、デカップルドモデルにより状態空間が2280（C×P×T）から71（C+P+T）に削減され、初期状態空間が大きいことから、ICUデータセット（24から11に）と比較してより顕著な性能向上が得られた。
• デカップルドMCPモデルは、LinkedInにおける将来の期間予測でMSEが2.934（RMTPPと比較して9.625）を記録し、ICUでは4.272（RMTPPと比較して14.602）を記録し、回帰性能が優れていることが示された。
• スパースグループ正則化により、LinkedInキャリア予測タスクでは最大3.0%の精度向上（例：スパースグループありで60.13%、なしで56.99%）が達成され、ICU遷移予測では1.4%の向上（76.98% vs. 73.45%）が得られた。
• デカップルドMCPモデルは、長時間シーケンスの予測において顕著な優位性を示し、履歴イベント情報の有効活用が可能であることが示された。
• 特徴分析から、'engineer'のようなマーカーは一貫して高い影響を持つ一方、'director'はCEOやファウンダーといった上位職でのみ強い影響を持つことが判明し、現実的なキャリア進捗のパターンを反映している。
• MCP強度関数は、他の形式と比較して一貫して優れた性能を示し、イベント発生が将来的な発生確率を低下させること、および履歴が将来の遷移に影響を与えるという仮定の妥当性が裏付けられた。