[論文レビュー] Privacy-Preserving News Recommendation Model Training via Federated Learning.

Tao Qi, Fangzhao Wu+3 more|arXiv (Cornell University)|Mar 21, 2020

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本論文は、フェデレーテッドラーニングを用いたプライバシー保護型ニュース推薦フレームワークを提案している。ユーザー行動データはローカルデバイス上に留まり、中央サーバーにアップロードされるのは局所的に計算された勾配（微分プライバシーを適用済み）のみである。中央集権的なユーザーデータの保存が不要であるため、高いプライバシー保護が実現されつつ、高い推薦性能を達成している。

ABSTRACT

News recommendation aims to display news articles to users based on their personal interest. Existing news recommendation methods rely on centralized storage of user behavior data for model training, which may lead to privacy concerns and risks due to the privacy-sensitive nature of user behaviors. In this paper, we propose a privacy-preserving method for news recommendation model training based on federated learning, where the user behavior data is locally stored on user devices. Our method can leverage the useful information in the behaviors of massive number users to train accurate news recommendation models and meanwhile remove the need of centralized storage of them. More specifically, on each user device we keep a local copy of the news recommendation model, and compute gradients of the local model based on the user behaviors in this device. The local gradients from a group of randomly selected users are uploaded to server, which are further aggregated to update the global model in the server. Since the model gradients may contain some implicit private information, we apply local differential privacy (LDP) to them before uploading for better privacy protection. The updated global model is then distributed to each user device for local model update. We repeat this process for multiple rounds. Extensive experiments on a real-world dataset show the effectiveness of our method in news recommendation model training with privacy protection.

研究の動機と目的

• 集中型ニュース推薦システムが機微なユーザー行動データを保存することに伴うプライバシーリスクを是正すること。
• 中央サーバーにユーザー行動データを収集・保存せずに、正確なニュース推薦モデルの学習を可能にすること。
• アップロード前にモデル勾配に局所的微分プライバシー（LDP）を適用することで、ユーザーのプライバシーを保護すること。
• フェデレーテッドアグリゲーションによる反復的グローバルモデル更新を通じて、モデル性能を維持すること。
• 実世界の環境において、フェデレーテッドラーニングを用いたプライバシー保護型ニュース推薦の実現可能性と有効性を示すこと。

提案手法

• 各ユーザー端末はニュース推薦モデルのローカルコピーを保持し、ローカルユーザー行動データに基づいてモデル勾配を計算する。
• ユーザーのランダムサブセットが、中央サーバーにそのローカルで計算された勾配をアップロードして集約する。
• プライバシー漏洩のリスクを軽減するため、アップロード前に勾配に局所的微分プライバシー（LDP）を適用する。
• サーバーは微分プライバシーを適用した勾配を集約し、グローバル推薦モデルを更新する。
• 更新されたグローバルモデルは、すべてのユーザー端末に再配布され、ローカルモデルの再トレーニングが行われる。
• 複数ラウンドにわたりプロセスを繰り返すことで、ユーザーのプライバシーを保ちながらモデルの正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 集中型ユーザーデータ保存なしに、フェデレーテッドラーニングを用いて正確なニュース推薦モデルを効果的に学習できるか？
• RQ2 モデル勾配に局所的微分プライバシー（LDP）を適用することで、推薦システムの性能とプライバシーにどのような影響を与えるか？
• RQ3 フェデレーテッドラーニング環境下における、プライバシー保護と推薦精度のトレードオフは何か？
• RQ4 多数のユーザーと多様なユーザー行動を伴う状況において、本手法はどのようにスケーリングするか？
• RQ5 ユーザー行動データがデバイス上に留まる状態で、高い推薦パフォーマンスを維持できるか？

主な発見

• 提案されたフェデレーテッドラーニングフレームワークは、集中学習手法と比較して競争力のあるニュース推薦精度を達成している。
• 勾配に局所的微分プライバシー（LDP）を適用することで、ユーザーのプライバシーが効果的に保護され、モデル性能の著しい低下も生じない。
• LDPに必要なノイズ注入があっても、モデルの有用性が高く保たれていることから、高い耐性を示している。
• トレーニングプロセス中、ユーザー行動データは常にローカルデバイス上に留まるため、中央集権的データ漏洩のリスクが排除される。
• 実世界のデータセットを用いた広範な実験により、プライバシーと推薦精度のバランスを取る手法の有効性が確認された。
• 反復的フェデレーテッドトレーニングプロセスは、複数ラウンドにわたり、高精度なグローバルモデルに収束することに成功した。