[論文レビュー] Privacy-Preserving News Recommendation Model Learning

Tao Qi, Fangzhao Wu+3 more|arXiv (Cornell University)|Mar 21, 2020

Privacy-Preserving Technologies in Data参考文献 26被引用数 10

ひとこと要約

本稿では、ユーザー行動データを中央集権的に集約せずに、ユーザー端末上でローカルにモデルを学習するプライバシー保護型ニュース推薦のためのフェデレーテッドラーニングベースのフレームワーク、FedNewsRecを提案する。学習の集約段階でモデル勾配にローカル微分プライバシーを適用することで、強力なプライバシー保護を実現するとともに、実世界のデータにおいて競争力のある推薦精度を維持する。

ABSTRACT

News recommendation aims to display news articles to users based on their personal interest. Existing news recommendation methods rely on centralized storage of user behavior data for model training, which may lead to privacy concerns and risks due to the privacy-sensitive nature of user behaviors. In this paper, we propose a privacy-preserving method for news recommendation model training based on federated learning, where the user behavior data is locally stored on user devices. Our method can leverage the useful information in the behaviors of massive number users to train accurate news recommendation models and meanwhile remove the need of centralized storage of them. More specifically, on each user device we keep a local copy of the news recommendation model, and compute gradients of the local model based on the user behaviors in this device. The local gradients from a group of randomly selected users are uploaded to server, which are further aggregated to update the global model in the server. Since the model gradients may contain some implicit private information, we apply local differential privacy (LDP) to them before uploading for better privacy protection. The updated global model is then distributed to each user device for local model update. We repeat this process for multiple rounds. Extensive experiments on a real-world dataset show the effectiveness of our method in news recommendation model training with privacy protection.

研究の動機と目的

• ニュース推薦システムにおけるユーザー行動データの中央集権的保存に伴うプライバシーリスクに対処すること。
• 中央サーバーにユーザー行動データを収集・保存せずに、正確なニュース推薦モデルの協調学習を可能にすること。
• フェデレーテッドトレーニング中に交換されるモデル勾配にローカル微分プライバシーを適用することで、ユーザーのプライバシーを保護すること。
• 実世界の設定において、プライバシー保護と推薦パフォーマンスのトレードオフを評価すること。

提案手法

• ユーザーは、自身の行動データを用いて、端末上でニュース推薦モデルのコピーをローカルに保存・学習する。
• 各ユーザーは、自身のローカル行動データに基づいてローカルモデル勾配を計算し、それを中央サーバーにアップロードする。
• サーバーは、ランダムに選択されたユーザーの勾配を集合的に処理し、グローバルな推薦モデルを更新する。
• ローカル微分プライバシーは、勾配をアップロードする前に、パラメータλとδで制御されるラプラスノイズを追加することで適用される。
• 更新されたグローバルモデルはすべてのユーザーに再配布され、ローカルモデルの更新が行われ、複数ラウンドにわたり繰り返される。
• ユーザーのモデルは、最近のクリックに基づくGRUによる短期的関心と、クリック済みニュース間の埋め込み類似度による長期的関心を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 中央集権的にユーザー行動データを集中させないフェデレーテッドラーニングフレームワークは、正確なニュース推薦モデルを効果的に学習できるか？
• RQ2 モデル勾配にローカル微分プライバシーを適用することで、推薦パフォーマンスとプライバシー保証にどのような影響が生じるか？
• RQ3 プライバシー保護環境下において、短期的および長期的ユーザー関心モデリングの影響は推薦精度にどのように現れるか？
• RQ4 異なるLDPパラメータ下で、εによるプライバシー保護と推薦パフォーマンスの間にはどのようなトレードオフが存在するか？

主な発見

• 提案されたFedNewsRecフレームワークは、実世界のデータセットにおいて、最先端の中央集権的手法と同等の推薦パフォーマンスを達成する。
• 勾配にローカル微分プライバシーを適用することで、ユーザーのプライバシーが効果的に保護され、εの値が低いほどより強いプライバシー保証が得られる。
• λが高くなる（ノイズが強くなる）と性能が低下し、δが大きくなる（クリッピングがやや緩和される）と性能が向上するため、プライバシーと精度の間にはトレードオフがあることが示された。
• さまざまなユーザー選択率（r）の下で、モデルは約1,500ラウンドの学習内で収束する。
• 短期的または長期的ユーザー埋め込みコンポーネントのいずれかを削除すると、性能に顕著な低下が生じ、両者がユーザーの好みを捉える上で有効であることが確認された。
• アブレーションスタディの結果、提案されたフレームワークにおいて、高い推薦精度を達成するには短期的および長期的関心モデリングの両方が不可欠であることが確認された。