[論文レビュー] SelfCF: A Simple Framework for Self-supervised Collaborative Filtering
本稿では、負例サンプリングを用いずに、バックボーンモデルからの潜在埋め込みを摂動することで、ユーザーおよびアイテムの表現学習を向上させる自己教師付きコラボラティブフィルタリングフレームワークSelfCFを提案する。負例サンプリングを排除し、ストップ・グラデント正則化を用いた埋め込みレベルの増強を活用することで、LightGCNよりも最大6.55%高い推薦精度を達成するとともに、2–4倍高速に学習が可能となる。
Collaborative filtering (CF) is widely used to learn informative latent representations of users and items from observed interactions. Existing CF-based methods commonly adopt negative sampling to discriminate different items. Training with negative sampling on large datasets is computationally expensive. Further, negative items should be carefully sampled under the defined distribution, in order to avoid selecting an observed positive item in the training dataset. Unavoidably, some negative items sampled from the training dataset could be positive in the test set. In this paper, we propose a self-supervised collaborative filtering framework (SelfCF), that is specially designed for recommender scenario with implicit feedback. The proposed SelfCF framework simplifies the Siamese networks and can be easily applied to existing deep-learning based CF models, which we refer to as backbone networks. The main idea of SelfCF is to augment the output embeddings generated by backbone networks, because it is infeasible to augment raw input of user/item ids. We propose and study three output perturbation techniques that can be applied to different types of backbone networks including both traditional CF models and graph-based models. The framework enables learning informative representations of users and items without negative samples, and is agnostic to the encapsulated backbones. We conduct comprehensive experiments on four datasets to show that our framework may achieve even better recommendation accuracy than the encapsulated supervised counterpart with a 2$ imes$--4$ imes$ faster training speed. We also show that SelfCF can boost up the accuracy by up to 17.79% on average, compared with a self-supervised framework BUIR.
研究の動機と目的
- 暗黙のフィードバックにおけるコラボラティブフィルタリングにおける負例サンプリングの計算的・分布的非効率性を是正する。
- 負例に依存しない自己教師付き学習を活用し、正例の相互作用からのみユーザーおよびアイテムの表現を学習する。
- 従来のコラボラティブフィルタリングモデル、特に従来型およびグラフベースのモデルを含む多様なバックボーンモデルと互換性のあるプラグアンドプレイ型フレームワークを設計する。
- ラベル付き負例や複雑なサンプリングヒューリスティクスを必要とせず、学習効率と推薦精度を向上させる。
- 自己教師付き推薦における解の崩壊を防ぐためにストップ・グラデントと予測子の役割を調査する。
提案手法
- ユーザーおよびアイテム表現の潜在埋め込みに直接、ランダムマスキング、特徴量シャッフル、グラフベースのエッジプリーニングの3つの埋め込み摂動技術を適用する。
- オンラインネットワークとターゲットネットワークが同じバックボーンを持つシアンズ型ネットワークアーキテクチャを構築し、埋め込みに異なる摂動を適用する。
- 摂動済みおよび未摂動の埋め込み間のコサイン類似度に基づく対照的損失を用い、不変かつ情報豊富な表現を促進する。
- 訓練の安定化とパラメータの崩壊防止のため、バックプロパゲーション中にターゲットネットワークを固定するストップ・グラデント演算子を導入する。
- 対照的学習の目的関数を改善し、下流の推薦性能を向上させるために、単純なマルチレイヤーパーセプトロン（MLP）予測子を統合する。
- バックボーンモデルに依存しないようにフレームワークを設計し、既存のディープラーニングベースのコラボラティブフィルタリングモデルへのシームレスな統合を可能にする。
実験結果
リサーチクエスチョン
- RQ1負例サンプリングなしで自己教師付き学習をコラボラティブフィルタリングに効果的に適用可能か。そのようなフレームワークのための重要な設計選択は何か。
- RQ2異なる埋め込み摂動技術は、暗黙のフィードバック設定における表現学習および推薦精度にどのように影響するか。
- RQ3ストップ・グラデント演算子と予測子は、解の崩壊の防止およびモデル安定性の向上に果たす役割は何か。
- RQ4SelfCFは、教師ありベースラインおよびBUIRのような既存の自己教師付きフレームワークと比較して、精度および学習効率の点でどのように差をつけるか。
- RQ5本フレームワークは、行列分解およびグラフニューラルネットワークベースのモデルを含む、さまざまなバックボーンモデルに一般化可能か。
主な発見
- SelfCFは、教師ありベースラインであるLightGCNよりも最大6.55%高い推薦精度を達成するとともに、負例サンプリングの排除により2–4倍高速に学習が可能である。
- 本フレームワークは、4つのデータセット全体で平均17.79%の向上を示し、自己教師ありベースラインBUIRの性能を大幅に向上させ、優れた一般化性能と有効性を示している。
- ストップ・グラデント演算子はモデル安定性において極めて重要であり、その除去は顕著な性能低下を引き起こす。これは、パラメータの崩壊を防ぐ役割を果たしていることを示している。
- 負例を明示的に用いなくても、埋め込み類似度に基づく対照的損失は、ユーザーの好みおよび不変特徴を効果的に捉えている。
- 特に大規模かつスパースなデータセットにおいて、入力レベルの増強よりも埋め込みレベルの増強が、効率性とスケーラビリティの点で優れている。
- 本フレームワークはバックボーンモデルに依存せず、従来のCFモデルおよびグラフベースのモデルの両方で競争力のある結果を達成しており、広範な適用可能性を確認している。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。