[論文レビュー] CryptoRec: Privacy-preserving Recommendation as a Service

Jun Wang, Afonso Arriaga+2 more|arXiv (Cornell University)|Feb 7, 2018

Cryptography and Data Security参考文献 36被引用数 5

ひとこと要約

CryptoRecは、同型暗号を用いたプライバシー保護型推薦システムを提案し、クライアントが暗号化された評価を提出し、サーバーがクライアントのデータを学習せずに予測を返すことができる、安全なRecommendation as a Service (RaaS)を実現する。モデルは加算と乗算の演算のみを用いており、同型暗号とネイティブに互換性がある。1台のPCでもサブ秒の予測時間を達成し、実世界のデータセットにおいて最先端の精度を維持する。

ABSTRACT

Recommender systems rely on large datasets of historical data and entail serious privacy risks. A server offering Recommendation as a Service to a client might leak more information than necessary regarding its recommendation model and dataset. At the same time, the disclosure of the client's preferences to the server is also a matter of concern. Devising privacy-preserving protocols using general cryptographic primitives (e.g., secure multi-party computation or homomorphic encryption), is a typical approach to overcome privacy concerns, but in conjunction with state-of-the-art recommender systems often yields far-from-practical solutions. In this paper, we tackle this problem from the direction of constructing crypto-friendly machine learning algorithms. In particular, we propose CryptoRec, a secure two-party computation protocol for Recommendation as a Service, which encompasses a novel recommender system. This model possesses two interesting properties: (1) It models user-item interactions in an item-only latent feature space in which personalized user representations are automatically captured by an aggregation of pre-learned item features. This means that a server with a pre-trained model can provide recommendations for a client whose data is not in its training set. Nevertheless, re-training the model with the client's data still improves accuracy. (2) It only uses addition and multiplication operations, making the model straightforwardly compatible with homomorphic encryption schemes. We demonstrate the efficiency and accuracy of CryptoRec on three real-world datasets. CryptoRec allows a server with thousands of items to privately answer a prediction query within a few seconds on a single PC, while its prediction accuracy is still competitive with state-of-the-art recommender systems computing over clear data.

研究の動機と目的

• クライアントの好みとサーバーのモデルの両方が機微なRecommendation as a Service (RaaS)におけるプライバシーリスクに対処する。
• 現代の推薦システムに適用された一般向け暗号ソリューション（例：安全なマルチパーティ計算、同型暗号）の非効率性を克服する。
• 同型暗号と本質的に互換性を持つ機械学習モデルを設計し、効率的でインタラクティブな必要のない安全な計算を可能にする。
• クライアントのデータがトレーニングセットに含まれていない場合でも、事前に訓練されたモデルを用いてサーバーが正確な推薦を提供できることを保証する。
• クライアントのデータでモデルを再訓練することで精度が向上し、プライバシーを保持したまま有用性を維持することを保証する。

提案手法

• ユーザーとアイテムの相互作用を、アイテムのみの潜在的特徴空間でモデル化し、事前に学習されたアイテム特徴の集約によって個別化されたユーザー表現を捉える推薦システムを提案する。
• モデルが加算と乗算の演算のみを用いるように制限し、同型暗号（HE）方式との互換性を保証する。
• 同型暗号を用いて、クライアントが自身の評価を暗号化し、平文を露呈せずにサーバーに送信できるようにする。
• サーバーが暗号化されたデータ上で完全に計算を実行し、暗号化された予測結果のみを返すことを可能にする。
• 予測フェーズとトレーニングフェーズを分離し、計算中にクライアントがオンラインでいなくても、サーバーが推薦を提供できるようにする。
• 事前に訓練されたアイテム埋め込みを活用することで、クライアントのデータがトレーニングセットに含まれていない場合でも高速な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 同型暗号とネイティブに互換性を持つが、高い予測精度を維持する推薦システムを設計できるか？
• RQ2 Recommendation as a Serviceの文脈において、クライアントの入力データとサーバーのモデル・トレーニングデータの両方のプライバシーをどのように保護できるか？
• RQ3 クライアントとサーバーの継続的相互作用を必要とせずに、安全な推薦を効率的に計算できるか？
• RQ4 事前に訓練されたモデルが、再トレーニングなしで新しいクライアントに対してどれほど正確な推薦を提供できるか？
• RQ5 実世界の推薦パイプラインにおいて、同型暗号を使用する際のパフォーマンスのオーバーヘッドはどの程度か？

主な発見

• CryptoRecは、同型暗号を用いて安全でインタラクティブな必要のない推薦を実現し、数千のアイテムに対しても1台のPCで数秒未満の予測遅延を達成する。
• 平文データ上で動作する最先端の推薦システムと比較して、競争力のある予測精度を達成する。
• クライアントのデータがサーバーのトレーニングセットに含まれていない場合でも、事前に訓練されたモデルを用いた推薦が可能で、クライアントデータで再トレーニングすることで精度が向上する。
• 加算と乗算の演算のみを用いることで、同型暗号とのシームレスな統合が可能になり、複雑な複数ラウンドプロトコルを回避できる。
• フレームワークは実用的な効率性を示し、同型暗号の計算コストにもかかわらず、数秒で安全な予測を完了する。
• このアプローチにより、クライアントは推薦結果のみを学習し、サーバーはクライアントの入力について何ら学習しない安全な二者間計算プロトコルが実現できる。