[論文レビュー] Contrastive Self-supervised Sequential Recommendation with Robust Augmentation

Zhiwei Liu, Yongjun Chen+4 more|arXiv (Cornell University)|Aug 14, 2021

Recommender Systems and Techniques参考文献 57被引用数 83

ひとこと要約

本論文はCoSeRecを提案する。連続推薦のための対照的自己監督フレームワークで、データのスパース性とノイズに対する頑健性を高める有益なシーケンス拡張を用い、次のアイテム予測と併訓練して学習する。

ABSTRACT

Sequential Recommendationdescribes a set of techniques to model dynamic user behavior in order to predict future interactions in sequential user data. At their core, such approaches model transition probabilities between items in a sequence, whether through Markov chains, recurrent networks, or more recently, Transformers. However both old and new issues remain, including data-sparsity and noisy data; such issues can impair the performance, especially in complex, parameter-hungry models. In this paper, we investigate the application of contrastive Self-Supervised Learning (SSL) to the sequential recommendation, as a way to alleviate some of these issues. Contrastive SSL constructs augmentations from unlabelled instances, where agreements among positive pairs are maximized. It is challenging to devise a contrastive SSL framework for a sequential recommendation, due to its discrete nature, correlations among items, and skewness of length distributions. To this end, we propose a novel framework, Contrastive Self-supervised Learning for sequential Recommendation (CoSeRec). We introduce two informative augmentation operators leveraging item correlations to create high-quality views for contrastive learning. Experimental results on three real-world datasets demonstrate the effectiveness of the proposed method on improving model performance and the robustness against sparse and noisy data. Our implementation is available online at \url{https://github.com/YChen1993/CoSeRec}

研究の動機と目的

• SRにおけるデータのスパース性とノイジーな相互作用の動機づけと対処。
• アイテムの相関を保持しつつ、長さの歪みを扱う有益なシーケンス拡張を導入する。
• SRとSSLを共同最適化する対照的SSL目的とマルチタスク学習戦略を提案する。

提案手法

• アイテムの相関を利用して堅牢なビューを作成する有益な拡張演算子2つ、Substitute (S)とInsert (I)を提案する。
• メモリベースとモデルベースのアイテム相関を取り込み、それらをハイブリッド Cor_h に統合して拡張選択に用いる。
• 3つのランダム拡張（Crop、Mask、Reorder）を採用し、短いシーケンスを支持するようシーケンス長に合わせて拡張セットを調整する。
• 同一シーケンスの2つの拡張ビュー間の一致を最大化するNT-Xent対比損失を使用する。
• 次アイテム予測ロスとSSLロスを組み合わせたマルチタスク目的でSRエンコーダを訓練し、バランスハイパーパラメータ lambda を用いる。

実験結果

リサーチクエスチョン

• RQ1 既存手法と比較してSRにおけるCoSeRecの性能はどうか？
• RQ2 SRに最適な拡張戦略はどれか、そして有益な拡張は性能にどう影響するか？
• RQ3 CoSeRecはSRにおけるスパースデータとノイズのある相互作用を堅牢に扱えるか？
• RQ4 異なるハイパーパラメータと拡張設定はCoSeRecにどのような影響を与えるか？

主な発見

• CoSeRecは3つの実データセットでHR@kとNDCG@kの指標でベースラインモデルを一貫して上回る。
• アイテム相関を活用する有益な拡張は正のビューの質を向上させ、コールドスタート問題を緩和する。特に短いシーケンスで効果的。
• 共同マルチタスク学習（SR + SSL）は、SRのファインチューニングを行う前の2段階の事前学習より性能が高い。
• 相関項目選択のためのハイブリッド相関（Cor_h）は、訓練が進むにつれて拡張の頑健性を向上させる。