[論文レビュー] Imputing Missing Events in Continuous-Time Event Streams

Hongyuan Mei, Guanghui Qin+1 more|arXiv (Cornell University)|May 14, 2019

Bayesian Modeling and Causal Inference被引用数 11

ひとこと要約

本稿では、不完全な連続時間イベントストリームにおける欠落イベントの補完のために、学習可能な双方向連続時間LSTMを用いたパーティクルスムージングを提案する。過去および未来の観測済みイベントに条件付けたことで、パーティクルフィルタリングを上回る補完精度を達成し、サンプルされたパーティクルに対するコンSENSUSデコーディングによりベイズリスクを低減する。ニューラル・ハワース過程を用いた合成および実世界のデータセットにおいて、一貫した性能向上を示す。

ABSTRACT

Events in the world may be caused by other, unobserved events. We consider sequences of events in continuous time. Given a probability model of complete sequences, we propose particle smoothing---a form of sequential importance sampling---to impute the missing events in an incomplete sequence. We develop a trainable family of proposal distributions based on a type of bidirectional continuous-time LSTM: Bidirectionality lets the proposals condition on future observations, not just on the past as in particle filtering. Our method can sample an ensemble of possible complete sequences (particles), from which we form a single consensus prediction that has low Bayes risk under our chosen loss metric. We experiment in multiple synthetic and real domains, using different missingness mechanisms, and modeling the complete sequences in each domain with a neural Hawkes process (Mei & Eisner 2017). On held-out incomplete sequences, our method is effective at inferring the ground-truth unobserved events, with particle smoothing consistently improving upon particle filtering.

研究の動機と目的

• 部分的に観測された連続時間イベントストリームにおける未観測イベントの推論という課題に対処すること。
• 過去および未来の両方の観測を活用することで、より正確な補完を実現する手法を開発すること。
• 複数のパーティクルサンプルからのコンセンサス予測を形成することで、ベイズリスクを低減し、イベント補完の精度を向上させること。
• 欠落がランダムでない（MNAR）設定を含む、さまざまな欠落メカニズムに対しても有効な推論を可能にすること。
• 複雑なニューラルポイントプロセスモデルにおける逐次重要度サンプリングに適したスケーラブルで学習可能な提案分布を提供すること。

提案手法

• 過去および未来の観測済みイベントに条件付けたパーティクルスムージングを、提案品質の向上を目的とした逐次重要度サンプリング手法として提案する。
• 完全なイベント系列の同時尤度をモデル化するための双方向連続時間LSTMを導入し、未来の文脈が提案に影響を与えるようにする。
• 双方向LSTMに基づく学習可能な提案分布を用いて、欠落イベントの後ろ向き分布を反映した一貫性のあるパーティクル系列を生成する。
• パーティクルに重要度重みを付与し、最適輸送損失に基づく最小ベイズリスク（MBR）デコーディングによりコンセンサス再構成を選択する。
• イベントの挿入および削除を許容する、イベント系列間の最適輸送距離を採用し、動的計画法による正確なアラインメントを実現する。
• 完全な系列の生成モデルとしてニューラル・ハワース過程を用い、提案ネットワークをエンド・ツー・エンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 双方向的なイベント系列モデリングは、単方向的手法と比較して、補完された欠落イベントの質を向上させるか？
• RQ2 学習可能な提案分布を用いたパーティクルスムージングは、さまざまな欠落メカニズム下で補完誤差をどれほど低減できるか？
• RQ3 提案分布に未来の観測を組み込むことで、連続時間イベントストリームにおける後ろ向き分布の近似がどの程度向上するか？
• RQ4 パーティクル集合からのコンセンサスデコーディングは、単一サンプル推定と比較して、より正確で頑健な補完を実現できるか？
• RQ5 本手法は、パーティクルフィルタリングやメトロポリス・ハスティングスなどの代替推論手法と比較して、精度および効率の面で優れているか？

主な発見

• パーティクルスムージングは、合成および実世界の全データセットで一貫してパーティクルフィルタリングを上回り、提案分布における未来の文脈の利用が有効であることを示している。
• 学習可能な双方向連続時間LSTMを用いた提案生成により、より一貫性があり正確なパーティクルサンプルが得られ、補完品質が向上した。
• 最小ベイズリスクデコーディングによるコンセンサス予測は、個々のパーティクルや標準的なフィルタリングベースラインと比較して、真の系列との平均距離が低かった。
• イベントの挿入および削除を許容する本手法の最適輸送距離は、シーケンスレベルの補完品質評価に妥当かつ効果的な指標を提供した。
• 欠落がランダムでない（MNAR）状況を含む、さまざまな欠落メカニズムに対しても頑健であり、欠落プロセスの明示的知識が不要であった。
• 提案ネットワークのエンド・ツー・エンド学習により、特に欠落イベントが頻発する低強度イベント領域において、補完精度が顕著に向上した。