[論文レビュー] User-Dependent Neural Sequence Models for Continuous-Time Event Data

Alex Boyd, Robert Bamler+2 more|arXiv (Cornell University)|Nov 6, 2020

Machine Learning in Healthcare被引用数 4

ひとこと要約

この論文では、変分推論と混合専門家アプローチを統合することで、個々のユーザーに依存するニューラル時系列モデルを提案し、ユーザーごとの潜在的埋め込みを学習する。この手法により、4つの実世界データセットで複数の指標—対数尤度、次イベントランキング、ソース同定—において予測性能が向上し、ユーザー固有の行動パターンをモデル化しながら、アンモトライズド推論によって一般化性能を維持する。

ABSTRACT

Continuous-time event data are common in applications such as individual behavior data, financial transactions, and medical health records. Modeling such data can be very challenging, in particular for applications with many different types of events, since it requires a model to predict the event types as well as the time of occurrence. Recurrent neural networks that parameterize time-varying intensity functions are the current state-of-the-art for predictive modeling with such data. These models typically assume that all event sequences come from the same data distribution. However, in many applications event sequences are generated by different sources, or users, and their characteristics can be very different. In this paper, we extend the broad class of neural marked point process models to mixtures of latent embeddings, where each mixture component models the characteristic traits of a given user. Our approach relies on augmenting these models with a latent variable that encodes user characteristics, represented by a mixture model over user behavior that is trained via amortized variational inference. We evaluate our methods on four large real-world datasets and demonstrate systematic improvements from our approach over existing work for a variety of predictive metrics such as log-likelihood, next event ranking, and source-of-sequence identification.

研究の動機と目的

• 既存のニューラルマークドポイントプロセスモデルがすべてのイベント系列を単一のグローバル分布から来ると仮定しているという限界に対処すること。これは、ユーザー固有の異質性を無視している。
• ユーザー固有の表現を組み込むことで、連続時間イベントデータにおける予測性能を向上させること。これにより、個々のユーザーの行動特性を捉える。
• 学習済みのユーザー埋め込みを用いたアンモトライズド変分推論により、再トレーニングなしで新しいユーザーに対しても効率的な推論を可能にすること。
• 多様な実世界データセットにおいて、対数尤度、次イベント予測、およびシーケンスのソース同定という指標で体系的な改善を示すこと。
• ユーザー固有のモデリングを用いた、順序付き推薦、需要予測、異常検出といったパーソナライズドタスクの可能性を検討すること。

提案手法

• ユーザーIDを表す潜在変数をニューラルマークドポイントプロセスモデルに追加し、これによりユーザー固有のエキスパートの混合としてモデル化する。
• イベント系列から分離可能なユーザー固有の埋め込みを学習するために、beta-VAE目的関数を用いた変分オートエンコーダ（VAE）フレームワークを採用する。
• テスト段階でユーザー固有の潜在コードをアンモトライズド変分推論により推論することで、新しいユーザーに対するゼロショットパーソナライゼーションを実現する。
• 各エキスパートが特定のユーザーまたはユーザークラスタの特徴的なイベントダイナミクスをモデル化する混合専門家アーキテクチャを採用する。
• 観測されたイベント系列の対数尤度の変分下界を最大化するように、確率的勾配降下法を用いてモデルをエンドツーエンドで訓練する。
• イベント埋め込みとRNNベースの強度関数を用い、過去の履歴とユーザーIDに基づいて、将来的なイベントの時間依存する条件付き強度をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルマークドポイントプロセスモデルは、連続時間イベント系列においてユーザー固有の行動パターンを明示的にモデル化できるか？
• RQ2 ユーザー依存の潜在的埋め込みを組み込むことで、ユーザー無差別のモデルと比較して予測性能がどの程度向上するか？
• RQ3 アンモトライズド変分推論は、再トレーニングなしで新しいユーザーに対する効率的パーソナライゼーションをどの程度可能にするか？
• RQ4 混合専門家アプローチは、単一のグローバルモデルと比較して、ユーザー間の異質性をよりよく捉えられるか？
• RQ5 提案されたモデルは、対数尤度、次イベントランキング、およびソース同定といった多様な指標で、どの程度の性能を示すか？

主な発見

• 提案されたユーザー依存モデルは、4つの実世界データセットすべてにおいて、ベースラインのニューラルMTPPと比較してホールドアウト対数尤度で体系的な改善を達成した。
• 特にシーケンスの初期段階でユーザー固有の文脈が重要となる状況において、次イベント予測の正確性がユーザー無差別のベースラインを著しく上回った。
• シーケンスのソース同定においても優れた性能を示し、学習されたユーザー埋め込みが判別可能な行動パターンを捉えていることが示された。
• トレーニングの安定化のため、β < 1 のbeta-VAEの使用が不可欠であった。これは、順序系列VAEと同様の表現学習の課題を示唆している。
• アンモトライズド推論により、新しいユーザーに対するゼロショットパーソナライゼーションが可能となり、実運用環境における再トレーニングやファインチューニングの必要性が低減された。
• このアプローチは、順序付き推薦、需要予測、ユーザー固有の異常検出といったパーソナライズドアプリケーションの新たな可能性を開いた。