[論文レビュー] FedSPLIT: One-Shot Federated Recommendation System Based on Non-negative Joint Matrix Factorization and Knowledge Distillation

Maksim E. Eren, Luke E. Richards+4 more|arXiv (Cornell University)|May 4, 2022

Recommender Systems and Techniques被引用数 8

ひとこと要約

FedSPLITは、非負値行列分解（NMF）と知識蒸留を用いた、プライバシー保護型で通信効率の高い1回の通信で完了する（ワンショット）フェデレーテッド共同フィルタリング推薦システムを初めて導入した。この手法により、1回のクライアント・サーバー間通信で済ませることで、プライバシーを守りながら通信コストを大幅に削減できる。ベンチマークデータセットにおいて最先端の性能を達成しており、複数ラウンドを要する従来のフェデレーテッド手法と比較して、通信コストを顕著に低減している。

ABSTRACT

Non-negative matrix factorization (NMF) with missing-value completion is a well-known effective Collaborative Filtering (CF) method used to provide personalized user recommendations. However, traditional CF relies on the privacy-invasive collection of users' explicit and implicit feedback to build a central recommender model. One-shot federated learning has recently emerged as a method to mitigate the privacy problem while addressing the traditional communication bottleneck of federated learning. In this paper, we present the first unsupervised one-shot federated CF implementation, named FedSPLIT, based on NMF joint factorization. In our solution, the clients first apply local CF in-parallel to build distinct client-specific recommenders. Then, the privacy-preserving local item patterns and biases from each client are shared with the processor to perform joint factorization in order to extract the global item patterns. Extracted patterns are then aggregated to each client to build the local models via knowledge distillation. In our experiments, we demonstrate the feasibility of our approach with standard recommendation datasets. FedSPLIT can obtain similar results than the state of the art (and even outperform it in certain situations) with a substantial decrease in the number of communications.

研究の動機と目的

• 従来の集中型共同フィルタリング推薦システムにおけるプライバシーと通信のボトル neck を解決すること。
• ラウンド数を1回に制限することで、遅延とデータ送信量を低減するフェデレーテッド推薦フレームワークを開発すること。
• 直接的なユーザー・アイテム相互作用データの共有を避けることで、ユーザーのプライバシーを保護し、代わりに潜在的要因とバイアスのみを共有すること。
• グローバルに共有されるアイテムパターンを用いた知識蒸留により、ローカルモデルの性能を向上させること。
• 標準的な推薦データセット上で手法を評価し、通信効率とプライバシー保護の両立を実証すること。

提案手法

• クライアントは、自身のユーザー・アイテム評価行列に対して局所的な非負値行列分解（NMF）を実行し、クライアント固有の推薦モデルを構築する。
• 各クライアントは、生のユーザーデータではなく、プライバシー保護型の潜在的アイテム要因とバイアスのみを中央サーバーに送信する。
• サーバーは、集約されたクライアントのアイテム要因を用いて共同NMFを実行し、グローバルなアイテムパターンとグローバルバイアスを学習する。
• 得られたグローバルなアイテムパターンとバイアスを、クライアントに再送信し、それらをローカルモデルへの知識蒸留に用いる。
• 知識蒸留は、局所的なユーザー特徴とグローバルなアイテムパターンを一致させる再構成損失を用いて実施され、ローカルモデルの精度が向上する。
• NMFによる低ランク近似を用いることで、情報漏洩を本質的に制限し、プライバシー強化を実現する。

実験結果

リサーチクエスチョン

• RQ1 1回の通信で完了する（ワンショット）フェデレーテッド推薦システムを、共同フィルタリングに基づいて設計し、通信量を最小限に抑えつつプライバシーを保護できるか？
• RQ2 知識蒸留を組み合わせた共同NMFは、生のユーザーデータを共有せずに、ローカルモデルの性能を向上させることができるか？
• RQ3 FedSPLITは、既存の複数ラウンドフェデレーテッド推薦手法と比較して、推薦精度と通信効率の面でどの程度優れているか？
• RQ4 攻撃者が共有された潜在的要因からユーザーの評価を再構成しようとする推論攻撃に対して、FedSPLITはどの程度耐性を示すか？
• RQ5 FedSPLITは、単一ユーザークライアントのサポートや、微分プライバシーによるさらなる強化が可能か？

主な発見

• FedSPLITは、1回の通信ラウンドのみを要するにもかかわらず、複数ラウンドを要する最先端のフェデレーテッド推薦手法と同等またはそれ以上の推薦性能を達成している。
• 通信コストが顕著に削減されており、初期のグローバル平均計算を除けば、クライアントとサーバー間の通信ペアが1回のみ必要となる。
• 共有されたアイテム要因とバイアスからユーザー評価を再構成しようとする推論攻撃では、高い相対誤差が観測され、低ランク近似による強いプライバシー保護が裏付けられている。
• 攻撃者がアクセス可能なデータの割合が増えるにつれて、再構成誤差はほぼ線形に増加するが、全データにアクセスされた場合でも正確な再構成は不可能である。
• 欠損値補完を併用した非負値行列分解の使用により、明示的なユーザーデータの共有なしに効果的な共同フィルタリングが可能である。
• 本手法はクライアントの非均質性に対しても頑健であり、グループベースのフェデレーテッドラーニングをサポートするが、単一ユーザー参加の対応は未解決の課題のままである。