[論文レビュー] A Federated Multi-View Deep Learning Framework for Privacy-Preserving Recommendations

Mingkai Huang, Hao Li+4 more|arXiv (Cornell University)|Aug 25, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用数 16

ひとこと要約

本稿では、複数のユーザーデータソースから共同で学習することで、プライバシーを守りながら推薦精度を向上させる、新しいフェデレーテッドマルチビュー深層学習フレームワーク、FL-MV-DSSMを提案する。DSSM（Deep Structured Semantic Models）をフェデレーテッドマルチビュー設定に拡張することで、中央集権的学習に近い性能を達成するとともに、新たなアグリゲーションおよびプライバシー保護メカニズムにより、セキュリティを確保する。

ABSTRACT

Privacy-preserving recommendations are recently gaining momentum, since the decentralized user data is increasingly harder to collect, by recommendation service providers, due to the serious concerns over user privacy and data security. This situation is further exacerbated by the strict government regulations such as Europe's General Data Privacy Regulations(GDPR). Federated Learning(FL) is a newly developed privacy-preserving machine learning paradigm to bridge data repositories without compromising data security and privacy. Thus many federated recommendation(FedRec) algorithms have been proposed to realize personalized privacy-preserving recommendations. However, existing FedRec algorithms, mostly extended from traditional collaborative filtering(CF) method, cannot address cold-start problem well. In addition, their performance overhead w.r.t. model accuracy, trained in a federated setting, is often non-negligible comparing to centralized recommendations. This paper studies this issue and presents FL-MV-DSSM, a generic content-based federated multi-view recommendation framework that not only addresses the cold-start problem, but also significantly boosts the recommendation performance by learning a federated model from multiple data source for capturing richer user-level features. The new federated multi-view setting, proposed by FL-MV-DSSM, opens new usage models and brings in new security challenges to FL in recommendation scenarios. We prove the security guarantees of \xxx, and empirical evaluations on FL-MV-DSSM and its variations with public datasets demonstrate its effectiveness. Our codes will be released if this paper is accepted.

研究の動機と目的

• 複数のユーザーデータビューからのコンテンツベース特徴を活用することで、フェデレーテッド推薦システムにおける冷間スタート問題を解消する。
• 中央集権的な生データの集約を避けながら、多様なデータソースからのより豊かなユーザーレベル特徴を統合することで、フェデレーテッド環境における推薦性能を向上させる。
• 異なるアプリケーション（例：ゲーム市場やアプリ市場）間で協働的にモデル学習が可能な、新しいフェデレーテッドマルチビュー学習パラダイムを導入する。
• 異なるデータソースおよびモデルコンponent間でのデータ漏洩を防ぐことで、新たなフェデレーテッドマルチビュー設定における強固なセキュリティ保証を実現する。
• 公開データセットを用いた実証的評価を通じて、中央集権的学習に近い性能を示すことで、フレームワークの有効性を実証する。

提案手法

• Deep Structured Semantic Model (DSSM) をフェデレーテッドマルチビュー設定に拡張し、分散環境下でのコンテンツベース推薦を可能にするフレームワーク（FL-MV-DSSM）に変換する。
• 異なるビューからの複数のローカルユーザーモデルを安全に統合する新しいフェデレーテッドアグリゲーションメカニズムを設計するが、すべてのユーザーユーザーが共有する1つのアイテムサブモデルを共有する。
• 共有アイテムサブモデルのみをアグリゲートする半分フェデレーテッドバージョン（SEMI-FL-MV-DSSM）を実装し、通信量を削減するとともに収束安定性を向上させる。
• 微分プライバシーとセキュアアグリゲーション技術を適用し、モデル更新の保護と異なるデータソース間での情報漏洩の防止を実現する。
• 異なるアプリケーションからの複数のユーザービュー（例：異なるアプリ）を活用して、ユーザーレプレゼンテーションを豊かにし、一般化性能と冷間スタート性能の向上を実現する。
• FedAvgスタイルのアグリゲーションを用い、パーソナライズドユーザーサブモデルと共有アイテムサブモデルを併用することで、スケーラブルかつプライバシー保護型の学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 分散型の複数の非中央集権的データソースからのユーザーフィーチャー統合によって、フェデレーテッドマルチビューフレームワークが推薦性能を著しく向上させることができるか？
• RQ2 提案されたFL-MV-DSSMフレームワークは、従来のフェデレーテッド協調フィルタリング手法と比較して、新規ユーザーや新規アイテムに対する冷間スタート問題をどのように軽減するか？
• RQ3 マルチビュー推薦におけるフェデレーテッド学習と中央集権的学習の性能ギャップはどの程度であり、効果的なモデルアグリゲーションによってこれを最小限に抑えることができるか？
• RQ4 フェデレーテッドマルチビュー推薦において生じる新たなセキュリティ課題は何か、そして異なるソース間でのデータ漏洩を防ぐためにどのように対処できるか？
• RQ5 ユーザーサブモデルの完全フェデレーテッドアグリゲーションと比較して、アイテムサブモデルのみを半分フェデレーテッドでアグリゲートすることで、性能と安定性が向上するか？

主な発見

• 100ラウンドの学習後、MovieLensデータセットにおいてFL-MV-DSSMはPrecision@10が0.2845 ± 0.0034を達成し、FL-DSSM（0.2691 ± 0.0015）を顕著に上回り、一部の指標では中央集権的DSSM（View-1）の性能に匹敵する。
• SEMI-FL-MV-DSSMは、すべてのFedRecアルゴリズムの中で最高の推薦性能を示し、Precision@10が0.3512 ± 0.0070、AUCが0.8986 ± 0.0051を達成。60ラウンドで、中央集権的DSSMベースラインの1つをも上回った。
• このフレームワークは冷間スタート問題を効果的に解決し、新規ユーザーデータにおいても強力な性能を示した（Precision@10: 0.2845 ± 0.0034）。FED-MVMF（0.3223 ± 0.0017）やFCF（0.3010 ± 0.0032）といった従来のFedRec手法を上回った。
• 実証的結果から、マルチビュー学習がモデルの一般化性能を顕著に向上させることを示した。中央集権的学習において、View-2 DSSMはView-1（Precision@10: 0.2804 ± 0.0011）よりも高い性能（Precision@10: 0.3980 ± 0.0025）を達成した。
• 半分フェデレーテッドバージョン（SEMI-FL-MV-DSSM）は、ユーザーチョイスのランダムネスが低減されたため、性能のばらつきが小さく、学習の安定性が向上していることが示された。
• セキュリティ解析の結果、異なるデータソース間でのデータ漏洩が防止されていることが確認され、複数のアプリを統合した推薦シナリオにおける実世界への展開に適していることが示された。