[論文レビュー] Time-Dependent Representation for Neural Event Sequence Prediction

Yang Li, Nan Du+1 more|arXiv (Cornell University)|Jul 31, 2017

Topic Modeling被引用数 5

ひとこと要約

本稿では、RNNを用いたニューラル系列予測のための時刻依存イベント表現を提案し、時間マスクと共同埋め込みを導入することで、生のタイムスタンプよりも効果的に時間間隔を符号化する。また、期間に基づく正則化を導入し、アプリ使用や音楽推薦など多様なデータセットで一貫した精度向上を達成した。TimeJointはRMTPPを含むベースラインを上回った。

ABSTRACT

Existing sequence prediction methods are mostly concerned with time-independent sequences, in which the actual time span between events is irrelevant and the distance between events is simply the difference between their order positions in the sequence. While this time-independent view of sequences is applicable for data such as natural languages, e.g., dealing with words in a sentence, it is inappropriate and inefficient for many real world events that are observed and collected at unequally spaced points of time as they naturally arise, e.g., when a person goes to a grocery store or makes a phone call. The time span between events can carry important information about the sequence dependence of human behaviors. In this work, we propose a set of methods for using time in sequence prediction. Because neural sequence models such as RNN are more amenable for handling token-like input, we propose two methods for time-dependent event representation, based on the intuition on how time is tokenized in everyday life and previous work on embedding contextualization. We also introduce two methods for using next event duration as regularization for training a sequence prediction model. We discuss these methods based on recurrent neural nets. We evaluate these methods as well as baseline models on five datasets that resemble a variety of sequence prediction tasks. The experiments revealed that the proposed methods offer accuracy gain over baseline models in a range of settings.

研究の動機と目的

• 既存の系列モデルが時間の離散化や無視を課題としているのを是正し、連続的な時間間隔を意味的に組み込むこと。
• 人間の時間認識を模倣したイベント系列のモデリング、すなわち期間とタイミングの文脈が行動予測に影響すること。
• イベントの順序を超える時間的依存関係を捉える時間依存表現を学習することで、系列予測の精度を向上させること。
• 次イベントの期間を正則化子として用いることで、モデルの一般化能力と時間的推論を強化することの検討。

提案手法

• イベント間隔の期間に基づいて学習された時間に配慮したマスクを用いて、イベント埋め込みを変更するTimeMaskを導入。
• 時間間隔のソフトワンホットエンコーディングを用いて、イベントとその時間間隔を共同で埋め込むTimeJointを提案。
• スカラータイム値を、時間的差異を保持する低次元の密な表現に変換するための学習された投影を適用。
• 次イベントの期間を正則化子として活用し、2つの損失関数（期間予測の負の対数尤度と射影されたカテゴリカル空間における交差エントロピー）を用いる。
• 実世界のイベント系列でエンドツーエンド最適化を実行するRNN（LSTM）を用いてモデルを訓練。
• 大規模データセットにスケーラブルに対応するため、GPUクラスタ上で非同期更新を用いた分散トレーニングを実施。

実験結果

リサーチクエスチョン

• RQ1 時間に配慮した表現は、単純なタイムスタンプ入力や固定時間ボーリングを超えて、ニューラル系列予測を改善できるか？
• RQ2 RNNにおいて、生の時間値を用いるのと比較して、学習された文脈依存の埋め込みとして時間を取り扱う方法は、どのように異なるか？
• RQ3 次イベントの期間を正則化子として組み込むことで、イベント系列モデリングにおける一般化能力と予測精度が向上するか？
• RQ4 どのような状況で時間依存表現が性能向上を達成できず、その理由は何か？
• RQ5 異なる時間表現手法（TimeMask 対 TimeJoint）は、多様な実世界の系列において、時間的ダイナミクスをどの程度効果的に捉えられるか？

主な発見

• Stack Overflowおよびファイナンシャルデータにおいて、TimeJointはすべてのベースライン（RMTPPを含む）をp<0.05のペアt検定で上回った。
• アプリ使用データセットでは、TimeJointがPrecision@1で31.53%を達成し、次に良いベースラインより0.22%の向上を示した。
• 音楽推薦データセットでは、TimeJointがMAP20で14.20を達成し、最良のベースラインより0.37%の向上を示した。
• 期間に基づく正則化子$R_t^X$は、複数のデータセットで一貫して性能向上を示し、一般化能力への有効性を示した。
• TimeConcat（時間と埋め込みを直接連結）は、性能を劣化させる場合もあり、時間のナチュラルな統合は非効率であることが示された。
• MIMIC IIでは、いかなる手法もベースラインを上回らなかった。これは、時間情報がすべての分野で予測に寄与しない可能性を示し、文脈依存性の重要性を強調している。