[論文レビュー] MC$^2$-SF: Slow-Fast Learning for Mobile-Cloud Collaborative Recommendation

Zeyuan Chen, Jiangchao Yao+5 more|arXiv (Cornell University)|Sep 25, 2021

Recommender Systems and Techniques参考文献 34被引用数 6

ひとこと要約

MC$^2$-SFは、モバイル・クラウド協調推薦のためのスローファスト学習フレームワークを提案する。クラウドベースのモデル（スロー）が事前知識を提供し、モバイルベースのモデル（ファスト）がリアルタイムのフィードバックを共有する。特権的でないメモリ特徴とネガティブメモリ特徴を双方向に転送することで、MC$^2$-SFは推薦精度を向上させ、ML-1Mで最も優れたベースライン比でNDCG@5に5.70%の向上を達成した。

ABSTRACT

With the hardware development of mobile devices, it is possible to build the recommendation models on the mobile side to utilize the fine-grained features and the real-time feedbacks. Compared to the straightforward mobile-based modeling appended to the cloud-based modeling, we propose a Slow-Fast learning mechanism to make the Mobile-Cloud Collaborative recommendation (MC$^2$-SF) mutual benefit. Specially, in our MC$^2$-SF, the cloud-based model and the mobile-based model are respectively treated as the slow component and the fast component, according to their interaction frequency in real-world scenarios. During training and serving, they will communicate the prior/privileged knowledge to each other to help better capture the user interests about the candidates, resembling the role of System I and System II in the human cognition. We conduct the extensive experiments on three benchmark datasets and demonstrate the proposed MC$^2$-SF outperforms several state-of-the-art methods.

研究の動機と目的

• ハードウェアの進歩にもかかわらず、モバイルとクラウドの推薦モデル間の双方向的協調の欠如に取り組む。
• 独立的または単方向的なモデルの限界を克服し、モバイルとクラウドのコンponentsの相補的な強みを活用できない問題を解決する。
• スロー（クラウド）とファスト（モバイル）コンponents間の相互知識伝達を可能にするフレームワークを開発し、ユーザーの関心モデリングを向上させる。
• 人間の認知システム（システムIとII）を模倣し、長期的およびリアルタイムのユーザー行動を統合することで、より優れた推薦パフォーマンスを実現する。
• 協調推薦における双方向の知識蒸留とネガティブメモリ統合の有効性を実証する。

提案手法

• 相互作用の頻度と計算能力に基づき、クラウドベースのモデルをスローなコンponent、モバイルベースのモデルをファストなコンponentとみなす。
• スローなコンponentからファストなコンponentへ一般化された関心表現を転送し、短期的予測精度を向上させる。
• ネガティブメモリモジュールを介して、ファストなコンponentが収集したネガティブフィードバックをスローなコンponentにアップロードし、長期的ユーザー表現を精緻化する。
• 両コンponentが特権的および事前知識を交換することで段階的に改善する、二重ブランチのトレーニングおよびサービングパイプラインを実装する。
• 両コンponentでユーザー・アイテム相互作用をモデル化するためにアテンションメカニズムと埋め込みベースの表現を用い、整合性を保つために共有の損失関数を採用する。
• モデル容量と過学習の防止の両立を図るため、正則化係数を導入する。

実験結果

リサーチクエスチョン

• RQ1 モバイルとクラウドの推薦モデル間での双方向的知識伝達は、全体の推薦パフォーマンスを向上させることができるか？
• RQ2 モバイル側からのリアルタイムフィードバックを統合することで、クラウドにおける長期的ユーザーモデリングはどのように向上するか？
• RQ3 ファストコンponentからのネガティブメモリが、スローモデルの予測精度と頑健性に与える影響は何か？
• RQ4 スローファスト学習メカニズムは、単方向的または独立したモデリングと比較して、NDCGおよびAUC指標においてどのように差を示すか？
• RQ5 ハイパーパramータ（例：埋め込みサイズ、正則化）の中で、MC$^2$-SFフレームワークのパフォーマンスに最も顕著に影響を与えるものは何か？

主な発見

• MC$^2$-SFは、ML-1Mデータセットで最も優れたベースライン比にNDCG@5で5.70%の向上を達成し、Alipayでは1.60%、Steamでは2.30%の向上を示した。
• アブレーションスタディにより、「w/ F2S」（ネガティブメモリのアップロード）と「w/ S2F」（特権的特徴の転送）の両方が性能向上に顕著に寄与することが確認され、双方向の知識フローの重要性が裏付けられた。
• ネガティブメモリモジュールにより、ポジティブおよびネガティブフィードバックを統合することで、より情報量の多い埋め込み表現が得られ、ユーザー表現学習が向上した。
• 最適なパフォーマンスは埋め込みサイズ32および正則化係数1e-4で達成され、モデル容量と一般化性能のバランスが図られていることが示された。
• ケーススタディでは、MC$^2$-SFがクラウドからの長期的関心とモバイルからの短期的行動を効果的に統合し、より多様で関連性の高い推薦を実現していることが明らかになった。
• DIN や SASRec といった強力なベースラインと比較して、MC$^2$-SFは3つのベンチマークデータセットすべてで優れた性能を示し、実世界の推薦シナリオにおいて一貫した優位性を示した。