[論文レビュー] ReFRS: Resource-efficient Federated Recommender System for Dynamic and Diversified User Preferences

Mubashir Imran, Hongzhi Yin+4 more|arXiv (Cornell University)|Jul 28, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

ReFRSは、エッジデバイス上で軽量な変分オートエンコーダーと意味的サーバーを用いて、動的で多様なユーザーの好みを扱うリソース効率の良いフェデレーテッドレコメンデーションシステムを提案する。リアルワールドデータセット上でプライバシーを保護しながら、精度とスケーラビリティに優れ、データスパarsityや非i.i.d.なユーザー行動に対応する。

ABSTRACT

Owing to its nature of scalability and privacy by design, federated learning (FL) has received increasing interest in decentralized deep learning. FL has also facilitated recent research on upscaling and privatizing personalized recommendation services, using on-device data to learn recommender models locally. These models are then aggregated globally to obtain a more performant model, while maintaining data privacy. Typically, federated recommender systems (FRSs) do not consider the lack of resources and data availability at the end-devices. In addition, they assume that the interaction data between users and items is i.i.d. and stationary across end-devices, and that all local recommender models can be directly averaged without considering the user's behavioral diversity. However, in real scenarios, recommendations have to be made on end-devices with sparse interaction data and limited resources. Furthermore, users' preferences are heterogeneous and they frequently visit new items. This makes their personal preferences highly skewed, and the straightforwardly aggregated model is thus ill-posed for such non-i.i.d. data. In this paper, we propose Resource Efficient Federated Recommender System (ReFRS) to enable decentralized recommendation with dynamic and diversified user preferences. On the device side, ReFRS consists of a lightweight self-supervised local model built upon the variational autoencoder for learning a user's temporal preference from a sequence of interacted items. On the server side, ReFRS utilizes a semantic sampler to adaptively perform model aggregation within each identified user cluster. The clustering module operates in an asynchronous and dynamic manner to support efficient global model update and cope with shifting user interests. As a result, ReFRS achieves superior performance in terms of both accuracy and scalability, as demonstrated by comparative experiments.

研究の動機と目的

• リソース制約のあるエッジデバイスでスパースで非i.i.i.d.なユーザー相互作用データを処理する既存のフェデレーテッドレコメンデーションシステム（FRS）の限界を克服すること。
• 特にコールドスタートや低データ状況において時間とともに変化する動的で多様なユーザーの好みをモデル化すること。
• ユーザー行動の非同一性を考慮することで、i.i.d.データを仮定するのではなく、フェデレーテッドラーニングにおけるモデルアグリゲーションを改善すること。
• 生のユーザーデータやデモグラフィック情報の共有を避けることで、スケーラブルでプライバシーを守るシステムを設計すること。
• クライアントモデルのパラメータの意味的類似性に基づいてユーザーをクラスタリングすることで、サーバーでの効率的で非同期的な更新を可能にすること。

提案手法

• クライアント側では、ReFRSは軽量な変分オートエンコーダー（VAE）を用い、時系列的な相互作用ウィンドウから時間的・文脈的なアイテム関係を捉えたコンactで解釈可能なユーザー埋め込みを学習する。
• クライアントモデルは、メモリ効率の良いセッション単位で相互作用を処理し、古いセッションを破棄することで、限られたデバイスストレージを管理し、完全なアイテム埋め込みの保存を避ける。
• サーバー側では、意味的サンプラーがパラメータ分布に基づいて意味的に類似したユーザーのモデルを特定し、生のユーザーデータにアクセスせずにクラスタリングを可能にする。
• クラスタリングユニットは、時間の経過に伴い変化するユーザーの関心に適応するために、非同期的にグループの再構成を動的に更新する。
• モデルアグレゲーターは各クラスタ内での重み付き平均化を実行し、ユーザーの多様性を考慮することでグローバルモデルのパフォーマンスを向上させる。
• システムは、パラメータ交換中のセキュリティ強化のため、微分プライバシーと同型暗号化をサポートする。

実験結果

リサーチクエスチョン

• RQ1 リソース制約のあるエッジデバイス上で、フェデレーテッドレコメンデーションシステムは、非i.i.d.かつスパースなユーザー相互作用データを効果的に処理できるか？
• RQ2 機微なデモグラフィックデータに依存せずに、類似した好みを持つユーザーをスケーラブルかつプライバシーを守る方法でグループ化できるか？
• RQ3 フェデレーテッドラーニングにおけるモデルアグリゲーションは、動的で多様なユーザー行動を考慮することでどのように改善できるか？
• RQ4 軽量で自己教師ありのクライアントモデルは、最小限のメモリ使用量で時間的・文脈的な好みを効果的に捉えることができるか？
• RQ5 分散環境において、クライアントモデルの意味的クラスタリングは収束速度とレコメンデーション精度にどのように影響を与えるか？

主な発見

• ReFRSは、リアルワールドデータセット上で、データスパarsityや非i.i.i.d.な条件でも、ベースラインのフェデレーテッドおよび集中型モデルに比べて優れた推薦精度を達成する。
• VAEからのコンactな潜在表現を用いることで、完全なアイテム埋め込みの保存を避けることにより、エッジデバイス上のメモリ消費量を顕著に削減する。
• クライアントモデルの意味的クラスタリングにより、類似した行動パターンを持つユーザーをグループ化し、収束速度の向上とグローバルモデルパフォーマンスの向上を実現する。
• 非同期的なクラスタリングメカニズムは、時間の経過に伴い変化するユーザーの関心に効果的に適応し、高い推薦品質を維持する。
• 同型暗号化の使用により、個々のモデルパラメータを暴露せずに安全な意味的グループ化が可能となり、プライバシーが強化される。
• コールドスタートや単一ユーザークライアントの状況においても、ReFRSは既存のFRS手法を上回り、実用的導入における頑健性を示す。