[論文レビュー] Session-based Sequential Skip Prediction via Recurrent Neural Networks

Lin Zhu, Yihong Chen|arXiv (Cornell University)|Feb 13, 2019

Recommender Systems and Techniques参考文献 21被引用数 5

ひとこと要約

本論文では、ユーザーのインタラクション特徴量と楽曲メタデータを活用して、音楽ストリーミングにおけるセッションベースのスキップ予測を目的としたGRUベースの再帰的ニューラルネットワークモデルを提示する。最初のセッション半分からの文脈的埋め込みを序列表現に組み込み、モデルアンサンブルを採用することで、0.648の平均平均正答率（AA）スコアを達成し、WSDMカップ2019で1位を獲得した。

ABSTRACT

The focus of WSDM cup 2019 is session-based sequential skip prediction, i.e. predicting whether users will skip tracks, given their immediately preceding interactions in their listening session. This paper provides the solution of our team extbf{ekffar} to this challenge. We focus on recurrent-neural-network-based deep learning approaches which have previously been shown to perform well on session-based recommendation problems. We show that by choosing an appropriate recurrent architecture that properly accounts for the given information such as user interaction features and song metadata, a single neural network could achieve a Mean Average Accuracy (AA) score of 0.648 on the withheld test data. Meanwhile, by ensembling several variants of the core model, the overall recommendation accuracy can be improved even further. By using the proposed approach, our team was able to attain the 1st place in the competition. We have open-sourced our implementation at GitHub.

研究の動機と目的

• 音楽再生セッションにおけるユーザーのスキップ行動を、順序付きインタラクションデータを用いて予測する課題に対処すること。
• ディープラーニングを用いて、動的なユーザーの好みとセッションの文脈を効果的にモデル化すること。
• ユーザーのインタラクション特徴量と楽曲メタデータを再帰的アーキテクチャに統合することで、予測精度を向上させること。
• WSDMカップ2019のセッションベーススキップ予測ベンチマークで最先端のパフォーマンスを達成すること。
• アンサンブル手法とアーキテクチャの変更が順序付き推薦タスクにおいて効果的であることを示すこと。

提案手法

• 2層スタックされたGRUネットワークが、各再生セッションの最初の半分を処理し、文脈的なセッション埋め込みを生成する。
• 2番目の半分では、各トラックの表現が、最初の半分のセッション埋め込みと、ReLU活性化された特徴量とのハダマード積を連結することで強化される。
• 強化された表現は、ReLU活性化関数を用いた2層のマルチレイヤーパーセプトロンに供給され、バイナリスキップ予測のためのシグモイド出力を生成する。
• マルチタスク学習の枠組みを採用し、スキップ行動に加え、コンテキストスイッチや一時停止パターンなどの関連ユーザー行動を同時に予測する。
• モデル学習にはAdam最適化手法を用い、基本の学習率は0.0005、バッチサイズは2200として、可変長セッションを処理するためのシーケンスパディングを実施する。
• アンサンブル手法により、活性化関数（例：ELU）、バッチ正則化、ハイパーパramータに差異を持つ6つのモデルバージョンを組み合わせ、汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 GRUベースのアーキテクチャは、音楽ストリーミングセッションにおける順序付きユーザー行動を、スキップ予測の文脈で効果的にモデル化できるか？
• RQ2 セッションレベルの文脈とトラックメタデータを統合することで、スキップ予測の正確性はどの程度向上するか？
• RQ3 アーキテクチャの変種とモデルアンサンブルは、WSDMカップ2019ベンチマーク上でどの程度パフォーマンスを向上させられるか？
• RQ4 補助的ユーザー行動シグナル（例：context_switch, pause behavior）を含むマルチタスク学習は、主なスキップ予測タスクに寄与するか？
• RQ5 可変長セッションおよび長期的な順序依存性に対して、モデルはどの程度頑健であるか？

主な発見

• 単一のGRUベースのモデルが、保留されたテストセットで0.648の平均平均正答率（AA）スコアを達成し、WSDMカップ2019で1位を獲得した。
• 活性化関数、正則化、ハイパーパramータに差異を持つ6つのモデルバージョンをアンサンブル化することで、AAスコアは0.651に向上した。
• セッションレベルの文脈とトラック固有の特徴量を組み合わせた強化表現の使用は、モデルパフォーマンスの顕著な向上に寄与した。
• スタックされたGRUを用いることで、順序付きダイナミクスとユーザーの意図を効果的に捉え、この順序付き文脈において、従来の協調フィルタリング手法を上回った。
• 補助タスク（例：context_switch, pause behavior）の導入により、汎化性能と予測安定性が向上した。
• 本アプローチは、未観測のセッションに対しても強力な汎化性能を示し、実世界のセッションベース推奨システムにおける有効性を裏付けた。