[論文レビュー] Time is of the Essence: a Joint Hierarchical RNN and Point Process Model for Time and Item Predictions

Bjørnar Vassøy, Massimiliano Ruocco+2 more|arXiv (Cornell University)|Dec 4, 2018

Multi-Criteria Decision Making参考文献 21被引用数 9

ひとこと要約

本稿では、内発的セッション内ダイナミクス、セッション間関係性、および時間的ギャップモデリングを統合することで、同時にセッションベースのアイテム推薦とリターン時刻予測を向上させる、共同階層的RNNとポイントプロセスモデル（THRNN）を提案する。このモデルは、Last.fmおよびRedditデータセットにおいて、リ call と MRR の両面で顕著な向上を達成し、制御可能な損失関数により短期・中距離・長期の時間予測に焦点を合わせることが可能である。

ABSTRACT

In recent years session-based recommendation has emerged as an increasingly applicable type of recommendation. As sessions consist of sequences of events, this type of recommendation is a natural fit for Recurrent Neural Networks (RNNs). Several additions have been proposed for extending such models in order to handle specific problems or data. Two such extensions are 1.) modeling of inter-session relations for catching long term dependencies over user sessions, and 2.) modeling temporal aspects of user-item interactions. The former allows the session-based recommendation to utilize extended session history and inter-session information when providing new recommendations. The latter has been used to both provide state-of-the-art predictions for when the user will return to the service and also for improving recommendations. In this work we combine these two extensions in a joint model for the tasks of recommendation and return-time prediction. The model consists of a Hierarchical RNN for the inter-session and intra-session items recommendation extended with a Point Process model for the time-gaps between the sessions. The experimental results indicate that the proposed model improves recommendations significantly on two datasets over a strong baseline, while simultaneously improving return-time predictions over a baseline return-time prediction model.

研究の動機と目的

• 既存のセッションベースの推薦システムが、長期的ユーザー行動と時間的ダイナミクスを同時にモデル化できないという限界を解消すること。
• 単に時間的ギャップに依存するのではなく、複数セッションにわたるユーザー・アイテム相互作用パターンを組み込むことで、リターン時刻予測を改善すること。
• RNNとポイントプロセスのコンポonent間で共有表現を活用することで、推薦品質とリターン時刻予測精度を共同最適化すること。
• 制御可能な損失関数コンponentを用いて、予測焦点（短期・中距離・長期ギャップ）を柔軟に制御できること。
• セッション間ダイナミクスと時間的ギャップを同時にモデル化することで、推薦と時刻予測の両性能が向上することを示すこと。

提案手法

• モデルは、内発的セッション内アイテム系列とセッションレベルのダイナミクスを学習するため、階層的再帰ニューラルネットワーク（HRNN）を用いる。
• 時間ギャップをモデル化するためにポイントプロセスモデル（特にハーケスプロセス）を用い、強度関数はHRNNからの共有埋め込みによってパrameter化される。
• 共同学習プロセスでは、短・中・長時間ギャップの範囲に応じた重要度を調節できる制御パrameter α を持つ重み付き損失関数を組み込む。
• HRNNのセッションレベル層は、複数セッションにわたる長期的ユーザー行動パターンを捉え、アイテムレベル層は各セッション内の即時の順序依存性をモデル化する。
• HRNNとポイントプロセス間の共有埋め込みにより、時間的予測が実際のユーザー・アイテム相互作用パターンに基づくものとなる。
• 推薦精度と時間ギャップ予測誤差の両方を組み合わせた複合損失関数を用い、バックプロパゲーションによるエンド・ツー・エンド学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 内発的セッション内アイテム系列、セッション間ユーザー行動、時間的ギャップを共同でモデル化することで、推薦とリターン時刻予測の両性能が向上するか？
• RQ2 時間ギャップモデリングにポイントプロセスを組み込むことで、セッションベースの推薦品質にどのような影響を与えるか？
• RQ3 損失関数を用いた制御により、短期・中距離・長期のリターン時刻に焦点を当てる能力はどの程度実現可能か？
• RQ4 RNNとポイントプロセス間の共有表現学習は、分離モデルよりも優れた一般化性能をもたらすか？
• RQ5 推薦および時刻予測の両タスクにおいて、最先端のベースラインと比較して本モデルはどのように差をつけるか？

主な発見

• Last.fmデータセットでは、THRNNモデルがHRNNベースライン比でRecall@5に6.6%、MRR@5に3.4%の向上を達成し、Recall@20では11.2%、MRR@20では5.3%の向上を示した。
• Redditデータセットでは、GRU4RECベースライン比でRecall@5に39.3%、MRR@5に36.0%の向上を示し、ドメインを越えた強力な一般化性能を示した。
• 共有表現学習のおかげで、2つのベースライン・ハーケスポイントプロセスモデルよりもリターン時刻予測で優れた性能を発揮し、観測頻度の高い時間ギャップに対して特に顕著な改善が見られた。
• 損失関数パラメータ α のチューニングにより、予測焦点の制御が有効に可能であった：α の値が高いほど長期間ギャップが優先され、低い値では短期ギャップが強調された。
• 共同モデルは、推薦およびリターン時刻予測の両タスクで最先端の性能を達成し、共同モデリングによるWin-Win効果が裏付けられた。
• HRNNベースライン比での改善はGRU4RECベースラインより小さいが、これはHRNNが既に一部の時間的ダイナミクスを捉えていることを示唆しており、ポイントプロセスモデリングの追加がさらなる向上をもたらしている。