[論文レビュー] HYPRO: A Hybridly Normalized Probabilistic Model for Long-Horizon Prediction of Event Sequences

Siqiao Xue, Xiaoming Shi+2 more|arXiv (Cornell University)|Oct 4, 2022

Time Series Analysis and Forecasting被引用数 4

ひとこと要約

HYPRO は、自己回帰的ベースモデルとエネルギー関数を組み合わせたハイブリッドに正規化された確率的モデルであり、長時間予測のためのイベント系列予測を向上させる。自己回帰的に生成された系列を、グローバルな現実性に基づいて再重み付けすることで、誤差の累積を軽減し、実世界のデータセットにおいて最先端の性能を達成し、自己回帰的および非自己回帰的ベースラインを上回る。

ABSTRACT

In this paper, we tackle the important yet under-investigated problem of making long-horizon prediction of event sequences. Existing state-of-the-art models do not perform well at this task due to their autoregressive structure. We propose HYPRO, a hybridly normalized probabilistic model that naturally fits this task: its first part is an autoregressive base model that learns to propose predictions; its second part is an energy function that learns to reweight the proposals such that more realistic predictions end up with higher probabilities. We also propose efficient training and inference algorithms for this model. Experiments on multiple real-world datasets demonstrate that our proposed HYPRO model can significantly outperform previous models at making long-horizon predictions of future events. We also conduct a range of ablation studies to investigate the effectiveness of each component of our proposed methods.

研究の動機と目的

• 自己回帰的モデルが逐次的依存性により誤差の累積を引き起こすため、イベント系列における長時間予測の課題に対処すること。
• 局所的な尤度だけでなく、グローバルな妥当性に基づいて候補系列を再重み付けすることで、予測品質を向上させる確率的モデルの開発。
• エネルギー関数モデルにおける計算不能な正規化定数を回避する効率的な学習および推論アルゴリズムの設計。
• eコマースや交通分野を含む多様な実世界データセットにおいて、提案フレームワークの有効性を実証的に検証すること。

提案手法

• HYPRO は、候補の将来イベント系列を生成する自己回帰的ベースモデル（例：連続時間トランスフォーマ）を組み合わせる。
• エネルギー関数は、完全な系列（過去＋予測された将来）のグローバルな現実性を評価し、より妥当性の高い系列に高いスコアを割り当てる。
• 計算不能な正規化定数を計算せずにエネルギー関数を学習するために、バイナリおよびマルチクラスのノイズ対比推定（NCE）を用いる。
• 最終的なハイブリッドモデル分布からの予測を効率的に得るために、正規化された重要度サンプリング推論アルゴリズムを用いる。
• 特にバイナリ-NCE学習において、実際の系列とネガティブな系列の分離を促進するため、損失関数に正則化項を導入する。
• フレームワークはモジュール構造となっており、任意の自己回帰的モデルをベースとして用いられ、エネルギー関数には異なるアーキテクチャ（例：トランスフォーマやLSTM）を組み合わせられる。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的生成とエネルギーに基づく再重み付けを組み合わせたハイブリッドモデルは、純粋に自己回帰的なモデルと比較して、長時間予測のためのイベント系列予測を向上させることができるか？
• RQ2 完全な系列を評価するエネルギー関数の使用により、局所的な誤りをグローバルな一貫性によって是正することで、予測品質が向上するか？
• RQ3 正規化を明示的に行わずにエネルギー関数を学習するためのノイズ対比推定に基づく学習目的関数は、どの程度有効か？
• RQ4 エネルギー関数のアーキテクチャの違い（例：トランスフォーマ対LSTM）がモデル性能に与える影響は何か？
• RQ5 ネガティブサンプルの数と正則化の影響は、学習の安定性および推論品質にどのように現れるか？

主な発見

• Taobao データセットにおいて、HYPRO はすべての予測時間窓において自己回帰的ベースライン AttNHP を顕著に上回り、予測時間窓が長くなるほど一貫した改善が見られた。
• Taobao データセットにおいて、連続時間トランスフォーマをエネルギー関数として用いた HYPRO が、自己回帰的ベースラインおよび非自己回帰的モデルをすべて上回る最高の性能を達成した。
• バイナリ-NCE 学習における距離正則化の導入により、統計的に有意な性能向上（p < 0.05）が得られたが、マルチ-NCE では有意差は認められなかった（p ≈ 0.1）。
• ネガティブサンプルの数を増やすことで、学習および推論性能が向上したが、一定の点で飽和した：学習では10個、推論では20個のネガティブサンプルで性能が頭打ちとなった。
• 連続時間トランスフォーマをエネルギー関数として用いた場合、すべての実験でLSTMベースのエネルギー関数を上回り、より優れた文脈モデリング能力を示した。
• 正規化された重要度サンプリングにより、HYPRO モデル全体からの効率的な推論が可能となり、長時間予測の実行可能性とスケーラビリティが確保された。