[論文レビュー] Multi-behavioral Sequential Prediction with Recurrent Log-bilinear Model

Qiang Liu, Shu Wu+1 more|arXiv (Cornell University)|Aug 25, 2016

Recommender Systems and Techniques参考文献 38被引用数 3

ひとこと要約

本稿では、マルチ行動時系列予測のための再帰的対数線形（RLBL）モデルと、その時間に配慮した拡張版であるTA-RLBLを提案する。再帰構造内に行動固有および位置・時刻固有の遷移行列を統合することで、短期的および長期的ユーザー行動文脈をモデル化する。RLBLとTA-RLBLは、Movielens、グローバル・テロリズム・データベース、Tmallのデータセットにおいて、最先端の手法を著しく上回る性能を発揮し、RLBLは最大で54.94%のrecall@10を達成した。TA-RLBLは、大多数の指標でRLBLを上回る性能を示した。

ABSTRACT

With the rapid growth of Internet applications, sequential prediction in collaborative filtering has become an emerging and crucial task. Given the behavioral history of a specific user, predicting his or her next choice plays a key role in improving various online services. Meanwhile, there are more and more scenarios with multiple types of behaviors, while existing works mainly study sequences with a single type of behavior. As a widely used approach, Markov chain based models are based on a strong independence assumption. As two classical neural network methods for modeling sequences, recurrent neural networks cannot well model short-term contexts, and the log-bilinear model is not suitable for long-term contexts. In this paper, we propose a Recurrent Log-BiLinear (RLBL) model. It can model multiple types of behaviors in historical sequences with behavior-specific transition matrices. RLBL applies a recurrent structure for modeling long-term contexts. It models several items in each hidden layer and employs position-specific transition matrices for modeling short-term contexts. Moreover, considering continuous time difference in behavioral history is a key factor for dynamic prediction, we further extend RLBL and replace position-specific transition matrices with time-specific transition matrices, and accordingly propose a Time-Aware Recurrent Log-BiLinear (TA-RLBL) model. Experimental results show that the proposed RLBL model and TA-RLBL model yield significant improvements over the competitive compared methods on three datasets, i.e., Movielens-1M dataset, Global Terrorism Database and Tmall dataset with different numbers of behavior types.

研究の動機と目的

• 既存の協調フィルタリング手法が、時系列ユーザーインタラクションにおける複数の行動タイプをモデル化できないというギャップを解消すること。
• マルコフ連鎖、RNN、対数線形モデルが、ユーザー行動時系列における複雑な時間的依存関係を捉えることの制限を克服すること。
• マルチ行動時系列における短期的（位置固有）および長期的（再帰的）依存関係を両方モデル化する統合フレームワークを構築すること。
• ユーザー行動間の時間差情報を統合して、動的時系列予測の性能を向上させること。
• 多様な行動タイプと時系列長を有する実世界のデータセット上で、提案手法を評価すること。

提案手法

• RLBLモデルは、再帰構造を用いてユーザー行動時系列の長期的依存関係をモデル化し、隠れ層が複数のアイテムを同時に処理する。
• 行動固有の遷移行列を用いて、クリック、購入、アンインストールなどの異なるタイプのユーザー行動（例：アイテムに対する行動）をモデル化する。
• 位置固有の遷移行列を用いて、時系列内の最近の行動から生じる短期的文脈効果を捉える。
• TA-RLBL拡張版は、位置固有の行列を時間固有の行列に置き換えることで、ユーザー行動間の実際の時間間隔をモデル化する。
• ユーザーおよびアイテムの埋め込みと、行動タイプごとにパrameter化された遷移行列を用いて、エンドツーエンドで最適化する。
• 収束を保証し、過学習を防ぐために正規化と早期停止を適用する。

実験結果

リサーチクエスチョン

• RQ1 統合モデルは、マルチ行動ユーザー時系列における短期的および長期的依存関係を効果的に捉えることができるか？
• RQ2 行動固有の遷移行列は、単一の行動タイプをモデル化する手法と比較して、予測精度をどの程度向上させるか？
• RQ3 行動間の時間差を統合することで、時系列予測性能はどの程度向上するか？
• RQ4 FPMC、HRM、RNNといった最先端手法と比較して、提案されたRLBLモデルは多様なデータセットでどのように性能を発揮するか？
• RQ5 TA-RLBLモデルは、時間的ダイナミクスをモデル化することで、RLBLに比べて収束が速く、性能が優れているか？

主な発見

• Movielens-1Mデータセットでは、RLBLがrecall@10で54.94%を達成し、FPMC（33.87%）とRNN（43.50%）を著しく上回った。
• グローバル・テロリズム・データベースでは、RLBLがMAPで0.2811を達成し、RNN（0.2401）とHRM（0.1990）を上回った。
• Movielensでは、TA-RLBLが中程度の長さのウィンドウ設定でrecall@10が54.32%を記録し、RLBL（54.94%）をわずかに上回った。
• RLBLとTA-RLBLの1イテレーションあたりの計算時間は、標準RNNの2倍未満であり、性能向上を考慮しても十分な効率性を示した。
• 収束曲線から、recall@1の値がrecall@5やrecall@10よりも速く収束することが示された。これは、長さが長い順序リストのランキングには、より多くのトレーニングイテレーションが必要であることを示している。
• 時系列長や行動タイプ数に関係なく、Movielens、GTD、Tmallの3つのデータセットすべてで、モデルは一貫した改善を示した。