[論文レビュー] Intelligent Model Update Strategy for Sequential Recommendation

Zheqi Lv, Wenqiao Zhang+3 more|arXiv (Cornell University)|Feb 14, 2023

Recommender Systems and Techniques参考文献 47被引用数 7

ひとこと要約

要約: 本論文は DC-CDR フレームワーク上に構築された Intelligent Device-Cloud Parameter Request Model (IDEAL) を提案し、Mis-Recommendation Detector (MRD) と Distribution Mapper (DM) を導入して、デバイス-クラウドの逐次推奨における更新頻度と通信予算のバランスを取る。

ABSTRACT

Modern online platforms are increasingly employing recommendation systems to address information overload and improve user engagement. There is an evolving paradigm in this research field that recommendation network learning occurs both on the cloud and on edges with knowledge transfer in between (i.e., edge-cloud collaboration). Recent works push this field further by enabling edge-specific context-aware adaptivity, where model parameters are updated in real-time based on incoming on-edge data. However, we argue that frequent data exchanges between the cloud and edges often lead to inefficiency and waste of communication/computation resources, as considerable parameter updates might be redundant. To investigate this problem, we introduce Intelligent Edge-Cloud Parameter Request Model, abbreviated as IntellectReq. IntellectReq is designed to operate on edge, evaluating the cost-benefit landscape of parameter requests with minimal computation and communication overhead. We formulate this as a novel learning task, aimed at the detection of out-of-distribution data, thereby fine-tuning adaptive communication strategies. Further, we employ statistical mapping techniques to convert real-time user behavior into a normal distribution, thereby employing multi-sample outputs to quantify the model's uncertainty and thus its generalization capabilities. Rigorous empirical validation on four widely-adopted benchmarks evaluates our approach, evidencing a marked improvement in the efficiency and generalizability of edge-cloud collaborative and dynamic recommendation systems.

研究の動機と目的

• 動的なクラウド支援パラメータ更新を通じてデバイス上の推奨モデルの一般化を向上させる動機付け。
• リアルタイムデータ向けにダイナミックレイヤを調整するため backbone と分類器を分離するデバイス-クラウド協調フレームワーク（DC-CDR）を開発する。
• クラウド支援パラメータ更新が必要かを判断する MRD を導入し、不要な通信を削減する。
• データの意味理解における不確実性を定量化し更新を導く Distribution Mapper を提案する。

提案手法

• トレーニング後に backbone を固定し、分類器をリアルタイムデータからクラウドモデルによって生成する DC-CDR の最適化を定義する。
• モデルを静的 backbone と動的レイヤに分割して、デバイス上の個別化と一般化を向上させる。
• リアルタイム系列に基づき、デバイス上の推論のための動的レイヤパラメータを生成するクラウド生成モデルを使用する。
• 静的レイヤとクラウド成分を逐次最適化するのではなく、全体の履歴データを用いてクラウド生成モデルを静的レイヤと共同訓練する。
• MRD を導入し、過去データから MRD データセットを作成し、分類と KL ダイバージェンス損失を用いた二段階訓練手順で更新の必要性を判断する。
• Distribution Mapper を用いてデータ意味理解の不確実性を評価し、パラメータ更新を導く。

実験結果

リサーチクエスチョン

• RQ1 通信予算を前提とした場合、デバイス-クラウド協調をどのように構築すれば推奨性能を最大化できるか？
• RQ2 Mis-Recommendation Detector はデバイス上のモデルに対してクラウド提供パラメータを要求すべきかを正確に判断できるか？
• RQ3 Distribution Mapper は逐次推奨のパラメータ更新戦略を改善するために不確実性をどう定量化するか？
• RQ4 バックボーンと分類器を静的・動的レイヤに分離することはデバイス上の一般化にどんな利点をもたらすか？
• RQ5 クラウド生成の動的パラメータとデバイス上の静的レイヤを同時訓練する訓練手順とは何か？

主な発見

• DC-CDR はクラウド生成パラメータに導かれたデバイス上の動的レイヤを可能にすることで潜在的な一般化を改善する。
• MRD と DM は、予算制約下で推奨品質を維持しつつ不要な通信を削減することを提案する。
• フレームワークは静的 backbone と動的分類器の構成を分離し、個別化されつつも全球的に情報に基づく推奨を支援する。
• MRD は過去データを用いて MRD データセットを構築し、KL ダイバージェンス損失を用いた二段階訓練手順を可能にする。
• DM はデータ意味理解の不確実性を評価し、パラメータ更新が発生すべき時を通知する。
• 提案手法はデバイス-クラウド予算の変動下で高い通信収益を達成することを目指す。