[論文レビュー] Practical and Secure Federated Recommendation with Personalized Masks

Yang Liu, Zhang, Junxue+5 more|arXiv (Cornell University)|Aug 18, 2021

Privacy-Preserving Technologies in Data参考文献 34被引用数 6

ひとこと要約

本稿では、ユーザーのレーティングのプライバシーを損なわず、モデルの精度や学習効率を犠牲にすることなく保護する、ローカルに生成されたパーソナライズドマスクを用いる新しいフェデレーテッド推薦フレームワーク、Federated Masked Matrix Factorization (FedMMF) を提案する。安全な平文の勾配共有を、プライバシーがしっかり保護されたユーザーに対して可能にするとともに、適応的セキュアアグリゲーションを組み合わせることで、強固なプライバシー保証を達成しつつ、実世界のベンチマークにおいて、標準的なフェデレーテッド行列分解および既存のプライバシー保護手法を上回る性能を発揮する。

ABSTRACT

Federated recommendation addresses the data silo and privacy problems altogether for recommender systems. Current federated recommender systems mainly utilize cryptographic or obfuscation methods to protect the original ratings from leakage. However, the former comes with extra communication and computation costs, and the latter damages model accuracy. Neither of them could simultaneously satisfy the real-time feedback and accurate personalization requirements of recommender systems. In this paper, we proposed federated masked matrix factorization (FedMMF) to protect the data privacy in federated recommender systems without sacrificing efficiency and effectiveness. In more details, we introduce the new idea of personalized mask generated only from local data and apply it in FedMMF. On the one hand, personalized mask offers protection for participants' private data without effectiveness loss. On the other hand, combined with the adaptive secure aggregation protocol, personalized mask could further improve efficiency. Theoretically, we provide security analysis for personalized mask. Empirically, we also show the superiority of the designed model on different real-world data sets.

研究の動機と目的

• フェデレーテッドレコメンデーションシステムにおけるプライバシー、効率性、有効性のバランスをとるという重要な課題に取り組む。
• 従来の暗号化およびノイズ付加ベースの手法で見られる、プライバシー保護とモデル性能のトレードオフを解消する。
• リアルタイムでパーソナライズドレコメンデーションが可能な、軽量で効率的かつプライバシー保護型のメカニズムを設計する。
• プライバシーがしっかり保護されたユーザーを特定し、それらのユーザーに対して平文の勾配共有を許可することで、安全で高パフォーマンスなモデルアグリゲーションを実現する。

提案手法

• ローカルデータからのみ生成されるパーソナライズドマスクを導入し、これにより元のレーティングをマスクしたレーティングに変換することで、個人情報を隠蔽する。
• マスクされたレーティング上でトレーニングされるフェデレーテッド行列分解フレームワークを採用し、モデルの有用性を維持するとともにプライバシーを強化する。
• プライバシー保護度の高いユーザー（セキュアグループ）とそれ以外を区別する適応的セキュアアグリゲーションプロトコルを設計し、セキュアグループに属するユーザーに対しては平文の勾配共有を可能にする。
• ユーザー固有のデータパターンに基づいてパーソナライズドマスクを学習するプライベートなローカルモデルを用い、マスクがデータ依存的かつ逆引き不可能であることを保証する。
• 複数の弱学習器（異なるマスクタイプ）を組み合わせることで一般化性能とモデル効果を向上させるアンサンブル学習の原則を適用する。
• 直感的な回復攻撃およびランク付け攻撃を用いてプライバシー漏洩を評価し、マスクされたレーティングがデータ再構築のリスクを顕著に低減することを示す。

実験結果

リサーチクエスチョン

• RQ1 パーソナライズドマスクを用いることで、フェデレーテッドレコメンデーションシステムにおけるユーザーのレーティングデータを、モデル精度を損なわず保護できるか？
• RQ2 パーソナライズドマスクの使用が、特に保護されたユーザーに対する平文の勾配共有を可能にすることで、効率的なモデルアグリゲーションを実現できるか？
• RQ3 回復攻撃およびランク付け攻撃といった現実的な攻撃シナリオ下で、提案手法のプライバシー漏洩防止効果はどの程度高いか？
• RQ4 パーソナライズドマスクの統合により、標準的なフェデレーテッド行列分解を上回るモデル性能が得られるか？

主な発見

• FedMMFは、標準的なフェデレーテッド行列分解（FedMF）と同等の効果を発揮し、3つの実世界データセットすべてにおいてRMSEおよびMAE値が一致するか、それ以上に優れる。
• FedMMFの2次および高次パーソナライズドマスクバージョンは、常にローカルおよびフェデレーテッドコンテキストモデルを上回り、アンサンブル学習および特徴量の相互作用の恩恵が明確に示された。
• 直感的な回復攻撃において、誤差が中程度の水準であっても、マスクされたレーティングの回復率が0.5以上を維持した。これは、データ再構築に対する強い耐性を示している。
• ランク付け攻撃の結果、トップ1およびトップ2の選択におけるヒットレートは0.5未満にとどまり、高評価アイテムの相対的順位が良好に保護されていることを裏付けた。
• 攻撃に対して耐性を持つ「セキュアグループ」に属するユーザーの数が顕著に多く特定された。これにより、平文の勾配共有が可能となり、通信および計算コストが削減された。
• 適応的セキュアアグリゲーションプロトコルにより、強固なローカルプライバシー保護が得られるユーザーからの効率的で暗号化されていない更新を許可することで、全体のシステムオーバーヘッドが低減された。