[論文レビュー] Towards a More Reliable Privacy-preserving Recommender System

Jiahong jiang, Cheng–Te Li+1 more|arXiv (Cornell University)|Nov 21, 2017

Privacy-Preserving Technologies in Data参考文献 9被引用数 6

ひとこと要約

本稿では、2段階のランダム化応答アルゴリズムと分散型行列分解を用いて、ユーザーの評価値、評価の有無、および学習済み推薦モデルを保護するプライバシー保護フレームワーク、Secure Distributed Collaborative Filtering (SDCF) を提案する。SDCFは、高い推薦精度を維持しながら微分プライバシーを達成しており、数値的および1クラスの評価予測タスクにおいて、非プライベートベースラインと同等に近いRMSEおよびAUCの損失を達成している。

ABSTRACT

This paper proposes a privacy-preserving distributed recommendation framework, Secure Distributed Collaborative Filtering (SDCF), to preserve the privacy of value, model and existence altogether. That says, not only the ratings from the users to the items, but also the existence of the ratings as well as the learned recommendation model are kept private in our framework. Our solution relies on a distributed client-server architecture and a two-stage Randomized Response algorithm, along with an implementation on the popular recommendation model, Matrix Factorization (MF). We further prove SDCF to meet the guarantee of Differential Privacy so that clients are allowed to specify arbitrary privacy levels. Experiments conducted on numerical rating prediction and one-class rating action prediction exhibit that SDCF does not sacrifice too much accuracy for privacy.

研究の動機と目的

• 共同フィルタリングシステムにおける評価値、評価の有無、および学習済み推薦モデルのプライバシー漏洩を解消すること。
• すべての機微なデータをクライアント上に保持する分散型クライアント・サーバアーキテクチャを設計し、信頼できないサーバへの送信を排除すること。
• 2段階のランダム化応答機構をモデル学習と統合することで、形式的な微分プライバシー保証を提供すること。
• 特に数値的および1クラスの評価予測タスクにおいて、強力なプライバシー保護にもかかわらず高い推薦精度を維持すること。
• 勾配降下法を用いるモデルにまで拡張可能なフレームワークを、従来の行列分解を超えて構築すること。

提案手法

• SDCFは、行列分解モデルをユーザー固有の個人的要素（U）とアイテム固有の公開的要素（V）に分離し、サーバにはVのみを格納し、Uと評価値はすべてクライアント上に保持する。
• 学習プロセスでは、クライアントが公開的要素（V）をダウンロードし、ローカルで個人的要素（U）を更新し、サーバに送信するのは公開的要素の勾配のみである。これにより、値およびモデルの漏洩を防止する。
• 2段階のランダム化応答アルゴリズムを適用し、ユーザーの評価値およびその存在をマスキングすることで、クライアントレベルでの微分プライバシーを確保する。
• 第1段階では、ランダム化応答を用いて評価値を摂動させ、第2段階では、評価の存在を確率的に変更することで、評価の有無をマスキングする。
• 2段階のRRプロセスにおいて、適切にキャリブレーションされたプライバシーパラメータ（εg および εI）により、プライバシー損失がεg および εI で有界であることを保証することで、フレームワーク全体に微分プライバシーを確保する。
• 勾配ベースの分散学習を可能にするために、因子化マシンにこの手法を拡張し、ユーザー関連パラメータ（例：w_c, v^l_c）を個人的要素、アイテム関連パラメータを公開的要素として扱う。

実験結果

リサーチクエスチョン

• RQ1 分散型共同フィルタリングフレームワークは、評価値、評価の有無、および学習済みモデルのプライバシーを同時に保護できるか？
• RQ2 信頼できるサーバーや第三者に依存せずに、分散型行列分解の文脈で形式的な微分プライバシーを保証できるか？
• RQ3 2段階のランダム化応答機構は、数値的および1クラスの評価予測タスクにおいて、推薦精度にどの程度の影響を与えるか？
• RQ4 提案されたフレームワークは、勾配降下法を用いる因子化マシンなどの他のモデルへも一般化可能か？
• RQ5 異なるプライバシー予算（εg, εI）は、プライバシーと推薦効用のトレードオフにどのように影響するか？

主な発見

• SDCFは2段階のランダム化応答機構を用いて微分プライバシーを達成し、プライバシー損失がεg および εI で有界であることを形式的証明した。
• 数値的評価予測において、εg = 4 の場合、非プライベートベースラインと同等のRMSE値を達成しており、十分な学習イテレーションを経ると性能が飽和する。
• 1クラスの評価行動予測においては、AUC損失が非プライベートベースラインと比較して僅かに0.03～0.07上昇するにとどまり、摂動による情報損失にもかかわらず、妥当な効用が得られている。
• 1クラスタスクでは、摂動応答ルール（PRR）により一部の評価行動が削除されるため、性能低下が顕著に現れるが、依然として高い精度と有用性を維持している。
• すべての生データおよび個人的モデルパラメータがクライアント上に留まるため、値、モデル、存在の漏洩を効果的に防止できた。
• この手法は因子化マシンやその他の勾配ベースのモデルへも拡張可能であり、従来の行列分解を超えた幅広い適用性を有している。