[論文レビュー] Practical Privacy Preserving POI Recommendation

Chaochao Chen, Jun Zhou+5 more|arXiv (Cornell University)|Mar 5, 2020

Privacy-Preserving Technologies in Data参考文献 66被引用数 4

ひとこと要約

本稿では、ユーザーの個人データおよび線形モデルをデバイス上に保持し、局所的微分プライバシーを用いて誤差を加えたユーザー-POI相互作用を安全に収集することで、動的POI人気度特徴を生成するプライバシー保護型POI推薦フレームワークPriRecを提案する。このフレームワークは、ユーザー側の線形モデルにおける安全で分散型の勾配降下と、特徴相互作用モデルにおけるフェデレーテッドラーニングにおける安全な集約を組み合わせ、中央集権的なFMと同等またはそれ以上の精度を達成しながら、強力なプライバシー保証を実現する。

ABSTRACT

Point-of-Interest (POI) recommendation has been extensively studied and successfully applied in industry recently. However, most existing approaches build centralized models on the basis of collecting users' data. Both private data and models are held by the recommender, which causes serious privacy concerns. In this paper, we propose a novel Privacy preserving POI Recommendation (PriRec) framework. First, to protect data privacy, users' private data (features and actions) are kept on their own side, e.g., Cellphone or Pad. Meanwhile, the public data need to be accessed by all the users are kept by the recommender to reduce the storage costs of users' devices. Those public data include: (1) static data only related to the status of POI, such as POI categories, and (2) dynamic data depend on user-POI actions such as visited counts. The dynamic data could be sensitive, and we develop local differential privacy techniques to release such data to public with privacy guarantees. Second, PriRec follows the representations of Factorization Machine (FM) that consists of linear model and the feature interaction model. To protect the model privacy, the linear models are saved on users' side, and we propose a secure decentralized gradient descent protocol for users to learn it collaboratively. The feature interaction model is kept by the recommender since there is no privacy risk, and we adopt secure aggregation strategy in federated learning paradigm to learn it. To this end, PriRec keeps users' private raw data and models in users' own hands, and protects user privacy to a large extent. We apply PriRec in real-world datasets, and comprehensive experiments demonstrate that, compared with FM, PriRec achieves comparable or even better recommendation accuracy.

研究の動機と目的

• 推薦者がユーザーのデータとモデルをすべて保持する中央集権型POI推薦システムにおけるプライバシーリスクを是正すること。
• プライバシーを保護しながら、スケーラブルで効率的な推薦フレームワークを設計し、個人データおよびモデルパラメータの露出を最小限に抑えること。
• 機密データおよびモデルを分散化しても高い推薦精度を維持し、実世界のシステムへの実用的導入を可能にすること。
• ユーザーのプライバシーを損なわず、誤差を加えた相互作用から動的POI人気度特徴を生成できること。
• 個々のユーザーのパーソナライゼーションを保ちながら、個人の好みを保護する安全で効率的な共同学習メカニズムの開発

提案手法

• ユーザーの個人データ（プロフィールおよび行動）は、スマートフォンなどのデバイス上にローカルに保存され、中央集権的な収集を回避する。
• 公開のPOIデータ（静的：例えいえばカテゴリ、動的：例えいば訪問回数）は、推薦者が保持することで、クライアント側のストレージ負荷を軽減する。
• ユーザー-POI相互作用データは、送信前に局所的微分プライバシー（LDP）を適用して誤差を加え、動的特徴のプライベート集約を可能にする。
• 推薦モデルは因子分解機械（FM）に基づくが、線形部は安全で分散型の勾配降下プロトコルを用いてローカルで訓練される。
• 特徴相互作用部は、フェデレーテッドラーニングの文脈で安全な集約を用いて中央で訓練され、モデルのプライバシーを保護する。
• ハイブリッドアーキテクチャにより、データおよびモデル所有権を分離：個人データおよび線形モデルはユーザーが保持、共有された特徴相互作用はサーバー上で安全に訓練される。

実験結果

リサーチクエスチョン

• RQ1 中央集権的なFMモデルと同等の精度を維持しつつ、ユーザーのデータおよびモデルのプライバシーを保護できるPOI推薦システムは構築可能か？
• RQ2 局所的微分プライバシーを満たしつつ、誤差を加えたユーザー相互作用から動的POI人気度特徴をどのように生成できるか？
• RQ3 安全で分散型の勾配降下は、中央集権化を避けながらも、ユーザー固有の線形モデルの有効な共同学習を可能にするか？
• RQ4 強いプライバシー保証のもとで、提案されたPriRecフレームワークは中央集権的なFMモデルと同等またはそれ以上の性能を達成できるか？
• RQ5 限られたオンラインデバイスおよび通信帯域幅のもとで、PriRecフレームワークは実用的に効率的かつスケーラブルか？

主な発見

• K=5のとき、Koubei80データセットにおいてPriRecはFMよりもAUCが6.30%高い。分散化されても優れたまたは同等の精度を達成している。
• Koubei90データセットでK=5のとき、LDPによって生成された動的POI人気度特徴の統合により、PriRec-（動的特徴なし）と比較してPriRecのAUCが2.67%向上した。
• Foursquare80ではKoubei80に比べて特徴数が少ない（6対89）ため、PriRecはKoubei80よりも速やかに収束し、低次元データでの学習が速いことが示された。
• 最大近傍ユーザー数が0.04%（85,466人中30人）にまで減少しても性能が安定することから、希薄なオンライン環境でもスケーラブルで実用的であることが証明された。
• 学習時間はデータサイズに比例して線形に増加し、PriRecの効率性と大規模導入の可能性を裏付けた。
• 生のユーザーのデータおよび線形モデルをデバイス上に保持し、暗号技術を用いた安全な集約を実施することで、強力なプライバシー保証を維持した。