[論文レビュー] A Novel Privacy-Preserved Recommender System Framework based on Federated Learning

Jiangcheng Qin, Baisong Liu|arXiv (Cornell University)|Nov 11, 2020

Privacy-Preserving Technologies in Data参考文献 56被引用数 23

ひとこと要約

本論文は、フェデレーテッドラーニングに基づく、ユーザーのデータを中央に集積せずに共同でモデルを訓練できる、プライバシー保護型レコメンデーションシステムフレームワーク（PPRSF）を提案する。グローバルリコールモデルとローカルランクモデルを分離することで、ユーザーのプライバシーを保護するとともに、通信コストを低減し、レコメンデーションの正確性を維持しながら、データ保護規制に準拠する。

ABSTRACT

Recommender System (RS) is currently an effective way to solve information overload. To meet users' next click behavior, RS needs to collect users' personal information and behavior to achieve a comprehensive and profound user preference perception. However, these centrally collected data are privacy-sensitive, and any leakage may cause severe problems to both users and service providers. This paper proposed a novel privacy-preserved recommender system framework (PPRSF), through the application of federated learning paradigm, to enable the recommendation algorithm to be trained and carry out inference without centrally collecting users' private data. The PPRSF not only able to reduces the privacy leakage risk, satisfies legal and regulatory requirements but also allows various recommendation algorithms to be applied.

研究の動機と目的

• ユーザーのデータを中央に集積しないことで、レコメンデーションシステムにおけるプライバシーとパーソナライゼーションのトレードオフを解消すること。
• GDPR、CCPAその他のデータ保護規制に準拠するスケーラブルでプライバシー保護型のフレームワークを設計すること。
• ユーザーのデータ機密性やシステム効率を損なわず、効果的なレコメンデーションパフォーマンスを実現すること。
• 安全で分散型のトレーニングアーキテクチャ内で、多様なレコメンデーションアルゴリズムをサポートすること。

提案手法

• 4層の階層型フレームワークを提案：リコール（サーバー）、ランク（クライアント）、再ランク（サーバー）、サービス（クライアント）の各レイヤー。
• モデルトレーニングの分離：グローバルリコールモデルは、パブリックデータを用いてサーバーでトレーニングされ、ローカルランクモデルはクライアントがプライベートデータを用いてトレーニングされる。
• FedAvgに類似したフェデレーテッドラーニングの集約手法を採用：クライアントはプライベートデータをローカルでトレーニングし、モデルの更新をサーバーにアップロードする。
• 2段階のプロセスを採用：サーバーが事前にフィルタリングされた候補アイテム（Recall_Iik）をクライアントに送信し、クライアントはそれらを自らのプライベートデータを用いてローカルでランク付けする。
• サーバーでグローバルモデルの集約を実行し、グローバルランクモデルを更新。その後、そのモデルをクライアントに再配布してローカル最適化を実施する。
• パブリックデータ（例：アイテム特徴）とプライベートデータ（例：ユーザー行動）を分離し、非機微なデータのみを共有することを保証する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのデータが中央に集積されない状態で、高いパーソナライズ化の正確性を維持できるレコメンデーションシステムはどのように実現できるか？
• RQ2 フェデレーテッドラーニングは、プライバシーを保護する多層レコメンデーションパイプラインに効果的に適応可能か？
• RQ3 提案されたフレームワークは、プライバシー、通信効率、レコメンデーションパフォーマンスのバランスをどのようにとるか？
• RQ4 GDPR や CCPA などの厳格なデータ保護規制に、どの程度準拠できるか？
• RQ5 スケールした分散型でプライバシー保護型のレコメンデーションを実現するためには、どのようなアーキテクチャ的およびトレーニング戦略が必要か？

主な発見

• PPRSF は、プライベートユーザーのデータを中央に集積せずにトレーニングと推論を可能とし、プライバシー漏洩リスクを顕著に低減する。
• モジュラー設計により、コンテンツベース、協調フィルタリング、ニューラルネットワークモデルを含む多様なレコメンデーションアルゴリズムをサポートする。
• サーバーで事前フィルタリングを行うことで、クライアントへの送信前に候補アイテムを絞り込むことにより、通信コストを削減する。
• フェデレーテッドアveragingを用いた反復的グローバルモデル集約により、レコメンデーションの正確性を維持する。
• データがデバイス上に留まり、サーバーや他のクライアントと共有されないことを保証することで、主要なプライバシー規制への準拠を支援する。
• 中央集権的なデータストレージやアクセスを排除することで、内部的および外部的プライバシー脅威の両方を効果的に緩和する。