[論文レビュー] Federated Recommendation with Additive Personalization

Zhiwei Li, Guodong Long+1 more|arXiv (Cornell University)|Jan 22, 2023

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

FedRAPは、グローバルなアイテム埋め込みとユーザー固有の加法的パーソナライゼーションを組み合わせることで、通信コストを低減しながらパーソナライゼーションを向上させるフェデレーテッドレコメンデーションフレームワークを提案する。段階的に正則化を導入し、グローバル埋め込みにスパarsityを課すことで、6つのベンチマークで最先端の性能を達成し、既存のフェデレーテッドレコメンデーション手法を上回る。

ABSTRACT

Building recommendation systems via federated learning (FL) is a new emerging challenge for advancing next-generation Internet service and privacy protection. Existing approaches train shared item embedding by FL while keeping the user embedding private on client side. However, item embedding identical for all clients cannot capture users' individual differences on perceiving the same item and thus leads to poor personalization. Moreover, dense item embedding in FL results in expensive communication cost and latency. To address these challenges, we propose Federated Recommendation with Additive Personalization (FedRAP), which learns a global view of items via FL and a personalized view locally on each user. FedRAP enforces sparsity of the global view to save FL's communication cost and encourages difference between the two views through regularization. We propose an effective curriculum to learn the local and global views progressively with increasing regularization weights. To produce recommendations for an user, FedRAP adds the two views together to obtain a personalized item embedding. FedRAP achieves the best performance in FL setting on multiple benchmarks. It outperforms recent federated recommendation methods and several ablation study baselines.

研究の動機と目的

• 既存のフェデレーテッドレコメンデーションシステムが同一のグローバルアイテム埋め込みを使用するという限界を是正し、ユーザー固有のアイテム認識を捉えきれないことに対処する。
• グローバルアイテム埋め込み行列にスパarsityを課えることで、フェデレーテッドラーニングにおける通信オーバーヘッドを低減する。
• 補完的な二視点埋め込み機構を通じて、グローバルな知識共有とローカルパーソナライゼーションのバランスを取る。
• 早期学習段階における過剰な加法的パーソナライゼーションによる性能低下を緩和する。
• ユーザーのデータとパーソナライズド埋め込みをローカルに保ち、圧縮されたグローバル埋め込みのみを共有することで、プライバシー保護を実現する。

提案手法

• FedRAPは、グローバルに共有されるスパース行列Cとユーザー固有の密度行列D^(i)の和としてアイテム埋め込みをモデル化し、加法的パーソナライゼーションを実現する。
• Cにスパarsity正則化を適用することで、グローバル埋め込み内の非ゼロパラメータを最小化し、通信コストを削減する。
• 補完的正則化により、CとD^(i)の間の多様性を強制し、二つの視点が冗長でないことを保証する。
• カリキュラム学習戦略により、正則化重みを段階的に増加させ、完全なパーソナライゼーションから加法的パーソナライゼーションへと段階的に移行することで、初期段階の性能低下を回避する。
• モデルは各クライアントでユーザー固有のレーティングを用いてローカルに学習され、ユーザーのデータプライバシーを保全する形でサーバーによる集約でCが更新される。
• 微分プライバシーは、Cにのみガウスノイズを追加することで適用され、性能低下を最小限に抑えつつプライバシーを確保する。

実験結果

リサーチクエスチョン

• RQ1 加法的パーソナライゼーションが、フェデレーテッド環境下でも推薦性能を向上させるとともに、ユーザーのプライバシーを保護できるか？
• RQ2 グローバルアイテム埋め込み行列Cにスパarsityを課すと、通信効率とモデル性能にどのような影響を与えるか？
• RQ3 段階的に加法的パーソナライゼーションを導入するカリキュラム学習戦略は、収束性を向上させ、初期段階の性能低下を回避できるか？
• RQ4 グローバルとローカル埋め込みの間のスパarsityと多様性を保証する補完的正則化は、モデルの一般化性能にどのように影響するか？
• RQ5 FedRAPは、完全なモデルノイズ注入と比較して、微分プライバシー制約下でもどの程度の性能を維持できるか？

主な発見

• FedRAPは6つの実世界ベンチマークで最先端のフェデレーテッドレコメンデーション手法を上回り、HR@10とNDCG@10のスコアが最高を記録した。
• アブレーションスタディにより、スパarsity正則化がベースラインと比較してC内の非ゼロパラメータ数を15.5%削減し、通信コストの顕著な低減を確認した。
• カリキュラム学習を用いたFedRAPは、微分プライバシー下で4.09%〜9.93%の性能低下に抑えられ、完全なモデルノイズ注入と比較して顕著に低い。
• CとD^(i)の可視化により、FedRAPはFedRAP-L2と比較してよりスパースなグローバル埋め込み（Cの4.19%が1e-1以上）を学習していることが確認され、効果的なスパarsityの強制が実現した。
• ノイズを注入してもモデルは強固な性能を維持しており、微分プライバシーを実現するにはCの更新のみで十分で効果的であることを示した。
• アブレーション結果から、早期の加法的パーソナライゼーションは性能を低下させることを確認し、カリキュラム学習戦略の必要性を裏付けた。