[論文レビュー] Improved Recurrent Neural Networks for Session-based Recommendations

Yong Tan, Xinxing Xu+1 more|arXiv (Cornell University)|Jun 27, 2016

Recommender Systems and Techniques参考文献 25被引用数 65

ひとこと要約

この論文では、順忤ニューラルネットワーク（RNN）を用いたセッションベースの推薦を、シーケンスの前処理および埋め込みドロップアウトによるデータ拡張、ユーザー行動の時間的シフトの対処、およびアイテム埋め込みを直接予測する新しいモデルの提案により改善している。この手法は、実時間デプロイメントに適した推論時間とモデルサイズを削減しながら、Recall@20とMRR@20でそれぞれ12.8%および14.8%の相対的改善を達成した。

ABSTRACT

Recurrent neural networks (RNNs) were recently proposed for the session-based recommendation task. The models showed promising improvements over traditional recommendation approaches. In this work, we further study RNN-based models for session-based recommendations. We propose the application of two techniques to improve model performance, namely, data augmentation, and a method to account for shifts in the input data distribution. We also empirically study the use of generalised distillation, and a novel alternative model that directly predicts item embeddings. Experiments on the RecSys Challenge 2015 dataset demonstrate relative improvements of 12.8% and 14.8% over previously reported results on the Recall@20 and Mean Reciprocal Rank@20 metrics respectively.

研究の動機と目的

• 従来のベースラインを上回るRNNベースのセッションベースの推薦モデルの性能向上を図ること。
• より最近のトレーニングデータの一部を再トレーニングすることで、時間経過に伴うデータ分布のシフトに対処すること。
• アイテム分類の代わりにアイテム埋め込みを直接予測することで、推論時間とメモリ使用量を削減し、リアルタイムデプロイメントに適したモデルを実現すること。
• 小規模データセットにおける特権情報（privileged information）を用いた蒸留の有効性を評価すること。
• 埋め込みドロップアウトやシーケンス前処理などのデータ拡張技術がモデルの汎化性能に与える影響を調査すること。

提案手法

• トレーニングデータの拡張と過学習の低減のため、シーケンス前処理と埋め込みドロップアウトを適用する。
• ユーザー行動の時間的シフトを反映させるために、より最近のデータの一部を再トレーニングする。
• 将来のシーケンスでトレーニングされた教師モデルのソフトラベルを用いて、知識蒸留を実施し、学生モデルの性能を向上させる。
• アイテム埋め込みを直接予測する新しいRNNアーキテクチャを提案し、スコアリングにはコサイン類似度層を適用する。
• GRU層を用い、隠れユニット数を100または1000に設定し、ランキングベースの損失関数を用いてモデルをトレーニングする。
• 実装にはKerasとTheanoを用い、RecSys Challenge 2015データセットを用いてモデル評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 シーケンス前処理および埋め込みドロップアウトによるデータ拡張は、RNNベースのセッション推薦の性能向上に寄与するか？
• RQ2 最近のデータの一部を再トレーニングすることで、ユーザー行動の時間的シフトがモデル性能に与える影響は何か？
• RQ3 将来のシーケンスからの特権情報（privileged information）を用いた知識蒸留は、特に小規模データセットにおいて性能向上をもたらすか？
• RQ4 ソフトマックス出力層の代わりにアイテム埋め込みを直接予測することで、推論時間とモデルサイズを削減し、精度を損なわずに済むか？
• RQ5 提案された埋め込みベースのRNNモデルにおいて、予測精度と推論効率のトレードオフは何か？

主な発見

• 提案されたデータ拡張戦略により、従来のRNNベースの結果と比較して、Recall@20で12.8%、MRR@20で14.8%の相対的改善が達成された。
• より最近のデータの一部を再トレーニングすることで性能が向上した。これは、ユーザー行動が時間経過とともに変化しており、その変化をモデルが捉える必要があることを示している。
• 特権情報（privileged information）を用いた知識蒸留は、小規模データセットにおいてわずかな性能向上をもたらした。これは、低データ環境下でも有効であることを裏付けた。
• 分類ベースのモデルと比較して、直接アイテム埋め込みを予測するモデル（M4）は、バッチ推論時間を約60%短縮し、モデルサイズを60%以上削減した。
• GRUのユニット数を100から1000に増やしても、性能向上は顕著ではなく、ある容量を超えると収益が減少する傾向が示された。
• M4モデルはRecall@20が0.6676、MRR@20が0.2847を達成し、ベースラインのRNNモデルを上回ったが、M1およびM2と比較すると性能が劣っていた。これは、より良い埋め込み表現の改善の余地があることを示している。