[論文レビュー] A Survey on Federated Recommendation Systems

Zehua Sun, Yonghui Xu+6 more|arXiv (Cornell University)|Dec 27, 2022

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

本サーベイは、フェデレーテッドレコメンデーションシステム（FedRS）の包括的概要を提供し、プライバシー保護メカニズム、データ汚染攻撃などのセキュリティ脅威、データおよびシステムの非均質性、通信オーバーヘッドに関する分析を含む。既存のソリューション、ベンチマーク、実世界の応用事例を評価し、プライバシー対応でスケーラブルかつ耐障害性に優れたフェデレーテッドレコメンデーションシステムの今後の研究のためのロードマップを提示する。

ABSTRACT

Federated learning has recently been applied to recommendation systems to protect user privacy. In federated learning settings, recommendation systems can train recommendation models only collecting the intermediate parameters instead of the real user data, which greatly enhances the user privacy. Beside, federated recommendation systems enable to collaborate with other data platforms to improve recommended model performance while meeting the regulation and privacy constraints. However, federated recommendation systems faces many new challenges such as privacy, security, heterogeneity and communication costs. While significant research has been conducted in these areas, gaps in the surveying literature still exist. In this survey, we-(1) summarize some common privacy mechanisms used in federated recommendation systems and discuss the advantages and limitations of each mechanism; (2) review some robust aggregation strategies and several novel attacks against security; (3) summarize some approaches to address heterogeneity and communication costs problems; (4)introduce some open source platforms that can be used to build federated recommendation systems; (5) present some prospective research directions in the future. This survey can guide researchers and practitioners understand the research progress in these areas.

研究の動機と目的

• フェデレーテッドレコメンデーションシステムにおけるプライバシー保護メカニズム、特に微分プライバシーとセキュアアグリゲーションを体系的にレビューすること。
• モデル汚染攻撃などの新たなセキュリティ脅威を分析し、既存の防御戦略を評価すること。
• フェデレーテッドレコメンデーション環境における統計的・システム的・プライバシー的非均質性に起因する課題に対処すること。
• 大規模なフェデレーテッドレコメンデーションのトレーニングおよびインフェレンスにおける通信コストの問題を検討すること。
• 未解決の研究課題を特定し、スケーラブルでプライバシーに配慮し、信頼性の高いフェデレーテッドレコメンデーションシステムを発展させるための今後の方向性を提案すること。

提案手法

• フェデレーテッドレコメンデーション（FedRS）における微分プライバシー、セキュアアグリゲーション、同型暗号化といったプライバシー保護メカニズムの分類と比較。
• プライバシーを侵害する勾配推定やモデル汚染攻撃といった新たな攻撃ベクトルをサーベイし、検出および防御技術を評価すること。
• パーソナライズドフェデレーテッドラーニングや適応的クライアント選択を含む、統計的およびシステム的非均質性を軽減する技術の分析。
• モデル量子化、スパarsification、知識蒸留を含む通信効率の良い手法がフェデレーテッドレコメンデーションに与える影響の評価。
• 中央サーバーに依存しない分散型代替手法、例えばスウォームラーニングやガッソウベースのフェデレーテッドラーニングを調査し、その利点と課題を検討すること。
• 複数組織間での協働におけるクライアント貢献の公平な評価と報酬分配を可能にするインcentiveメカニズムのレビュー。

Figure 1: Communication architecture of FedRS.

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドレコメンデーションシステムにおいて、最も効果的なプライバシー保護メカニズムは何か。また、それらのトレードオフは何か。
• RQ2 汚染攻撃はフェデレーテッドレコメンデーションシステムにどのように影響を及ぼし、効果的な防御策は何か。
• RQ3 データ、システムリソース、プライバシーの好みにおける非均質性は、どの程度軽減可能か。
• RQ4 大規模なフェデレーテッドレコメンデーションのトレーニングおよびインフェレンスにおいて、通信コストを低減する技術は何か。
• RQ5 スケーラブルでプライバシーに配慮し、信頼性の高いフェデレーテッドレコメンデーションシステムを構築するうえでの主な課題と未解決の研究課題は何か。

主な発見

• 微分プライバシーとセキュアアグリゲーションは強固なプライバシー保証を提供するが、ノイズの注入により推薦精度が低下する傾向がある。
• 通常のユーザー行動を模倣する汚染攻撃は、検出が難しく、効果的な防御がなければモデル性能を著しく低下させる。
• パーソナライズドフェデレーテッドラーニングや適応的クライアント選択は、統計的およびシステム的非均質性の下でも性能を向上させるが、バイアスの発生を避けるために注意深い設計が不可欠である。
• 通信コストは依然として主要なボトル neck であり、特に数百万ものアイテムを扱うシステムでは顕著である。モデル圧縮や知識蒸留などの技術が帯域幅の削減に寄与する。
• スウォームラーニングやガッソウベースの学習といった分散型フレームワークは中央サーバーへの依存を軽減し、プライバシーを強化するが、収束性や調整の面で新たな課題を生じさせる。
• 複数組織間での協働を促進するためには、クライアント貢献を公平に測定するインcentiveメカニズムが不可欠であるが、実際の応用ではまだ十分に発展していない。

Figure 2: Categorization of federated recommendation systems.