[論文レビュー] Augmenting Recurrent Neural Networks with High-Order User-Contextual Preference for Session-Based Recommendation

Younghun Song, Jae-Gil Lee|arXiv (Cornell University)|May 8, 2018

Recommender Systems and Techniques参考文献 14被引用数 5

ひとこと要約

本稿では、製品ベースのニューラルネットワーク（PNN）を用いて高次元のユーザーパーソナライズド嗜好を明示的にモデル化することで、既存のRNNベースのセッションモデルを強化する拡張型再帰ニューラルネットワーク（ARNN）を提案する。年齢、性別、場所などの静的ユーザーパーソナライズドコンテキストを統合することで、豊富なユーザーパーソナライズドコンテキストが利用可能な状況では、XINGデータセットにおいてGRU4RECよりMRR@20で19.5%の相対的改善を達成する。

ABSTRACT

The recent adoption of recurrent neural networks (RNNs) for session modeling has yielded substantial performance gains compared to previous approaches. In terms of context-aware session modeling, however, the existing RNN-based models are limited in that they are not designed to explicitly model rich static user-side contexts (e.g., age, gender, location). Therefore, in this paper, we explore the utility of explicit user-side context modeling for RNN session models. Specifically, we propose an augmented RNN (ARNN) model that extracts high-order user-contextual preference using the product-based neural network (PNN) in order to augment any existing RNN session model. Evaluation results show that our proposed model outperforms the baseline RNN session model by a large margin when rich user-side contexts are available.

研究の動機と目的

• 年齢、性別、場所などの静的ユーザーパーソナライズドコンテキスト（例：年齢、性別、場所）を明示的にモデル化できないという、既存のRNNベースのセッションモデルの限界を解決すること。
• ユーザーパーソナライズドコンテキストと順序付きアイテム行動の間の高次相互作用を捉えることで、セッションベースの推薦におけるパーソナライズ化を向上させること。
• 既存のRNNセッションモデルにコンテキスト嗜好モデルを統合できる、即挿し可能なフレームワークを構築すること。
• 豊富なユーザーパーソナライズドコンテキストデータが利用可能な場合、高次元のユーザーパーソナライズド嗜好モデル化が推薦品質の向上に寄与するかどうかを評価すること。

提案手法

• 標準的なRNNセッションモデルとPNNベースのコンテキストエンコーダーを組み合わせたARNNを導入し、静的ユーザーパーソナライズドコンテキストと以前のアイテムとの間の高次相互作用をモデル化する。
• PNNを用いて、埋め込み済みのユーザーパーソナライズドコンテキスト特徴量とRNNの隠れ状態の間でペアワイズの積演算を計算し、非線形的かつ高次の相互作用を捉える。
• PNNの出力をフィードフォワード層を介してRNNの隠れ状態と統合し、コンテキストに適応したセッション表現を生成する。
• トップ1損失関数を採用し、負例のスコアをゼロに近づけ、スコアの爆発を防ぐことで、順序付け性能を最適化する。
• データセットに特化した学習率と重み減衰を用いたAdagrad最適化手法を採用し、モデル性能に与えるハイパーパramータの感受性を強調する。
• RNNが順序パターンを捉える一方で、PNNがユーザーパーソナライズドコンテキスト嗜好をエンコードするように、セッションログ上でエンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 年齢、性別、場所などの静的ユーザーパーソナライズドコンテキストを明示的にモデル化することで、RNNベースのセッションモデルの性能が向上するか？
• RQ2 ユーザーパーソナライズドコンテキストと順序付きアイテム行動との間の高次相互作用モデル化は、低次またはコンテキストなしのモデル化よりも高い推薦精度をもたらすか？
• RQ3 豊富なユーザーパーソナライズドコンテキストが利用可能な状況で、ARNNの性能はGRU4REC や Item-KNN といった強力なベースラインと比べてどうか？
• RQ4 ユーザーパーソナライズドコンテキスト特徴量が疎な場合、ARNNが性能向上を達成できない条件は何か？
• RQ5 PNNベースのコンテキストエンコーダーは、既存のRNNセッションモデルに再トレーニングなしに効果的に統合可能か？

主な発見

• XINGデータセットでは、ARNNはGRU4RECベースラインを顕著に上回り、MRR@20で19.5%の相対的改善（0.1252 対 0.1169）を達成した。
• XINGデータセットでは、ARNNはRecall@20が0.3106を達成し、GRU4RECの0.2597に対して17.8%の相対的改善を示した。
• XINGでの性能向上は、職業名、場所、ログインプラットフォームなどの豊富なユーザーパーソナライズドコンテキスト特徴量の存在に起因し、効果的な高次嗜好モデル化が可能になったためである。
• TMALLデータセットでは、ユーザーパーソナライズドコンテキストとしてユーザーID、年齢、性別のみが利用可能であったため、ARNNはGRU4RECに対して僅かな改善にとどまり、コンテキストが疎な場合には恩恵が限定的であることが示唆された。
• 独立したPNNモデルは性能が低かった（XINGでのRecall@20：0.1439）ことから、順序モデルなしではコンテキストモデル化だけでは不十分であることが確認されたが、ARNNにおけるRNNとの統合により顕著な性能向上が得られた。
• ハイパーパramータチューニング、特に学習率と重み減衰の設定が、モデルの収束と性能に極めて重要であり、最適化設定に対する感受性が高いことが示された。