[论文解读] CryptoRec: Privacy-preserving Recommendation as a Service

Jun Wang, Afonso Arriaga+2 more|arXiv (Cornell University)|Feb 7, 2018

Cryptography and Data Security参考文献 36被引用 5

一句话总结

CryptoRec 提出了一种使用同态加密的隐私保护推荐系统，支持安全的推荐即服务（RaaS），其中客户端提交加密评分，服务器在不获取客户端数据的情况下返回预测结果。该模型仅使用加法和乘法操作，与同态加密原生兼容，并在单台个人电脑上实现了亚秒级的预测时间，同时在真实世界数据集上保持了最先进水平的准确率。

ABSTRACT

Recommender systems rely on large datasets of historical data and entail serious privacy risks. A server offering Recommendation as a Service to a client might leak more information than necessary regarding its recommendation model and dataset. At the same time, the disclosure of the client's preferences to the server is also a matter of concern. Devising privacy-preserving protocols using general cryptographic primitives (e.g., secure multi-party computation or homomorphic encryption), is a typical approach to overcome privacy concerns, but in conjunction with state-of-the-art recommender systems often yields far-from-practical solutions. In this paper, we tackle this problem from the direction of constructing crypto-friendly machine learning algorithms. In particular, we propose CryptoRec, a secure two-party computation protocol for Recommendation as a Service, which encompasses a novel recommender system. This model possesses two interesting properties: (1) It models user-item interactions in an item-only latent feature space in which personalized user representations are automatically captured by an aggregation of pre-learned item features. This means that a server with a pre-trained model can provide recommendations for a client whose data is not in its training set. Nevertheless, re-training the model with the client's data still improves accuracy. (2) It only uses addition and multiplication operations, making the model straightforwardly compatible with homomorphic encryption schemes. We demonstrate the efficiency and accuracy of CryptoRec on three real-world datasets. CryptoRec allows a server with thousands of items to privately answer a prediction query within a few seconds on a single PC, while its prediction accuracy is still competitive with state-of-the-art recommender systems computing over clear data.

研究动机与目标

• 解决推荐即服务（RaaS）中的隐私风险，其中客户端偏好和服务器模型均为敏感信息。
• 克服将通用密码方案（如安全多方计算、同态加密）应用于现代推荐系统时的低效问题。
• 设计一种与同态加密原生兼容的机器学习模型，以实现高效、非交互式的安全计算。
• 即使客户端数据未包含在训练集中，也使服务器能够使用预训练模型提供准确的推荐。
• 确保使用客户端数据重新训练模型可提升准确率，同时保持隐私和实用性。

提出的方法

• 提出一种推荐系统，通过仅基于物品的潜在特征空间建模用户-物品交互，利用预训练的物品特征聚合来捕捉个性化的用户表征。
• 限制模型仅使用加法和乘法操作，确保与同态加密（HE）方案的兼容性。
• 使用同态加密，使客户端能够加密其评分并发送给服务器，而不会泄露明文信息。
• 使服务器能够完全在加密数据上执行预测计算，仅返回加密的预测结果。
• 将预测阶段与训练阶段解耦，使服务器在计算过程中无需客户端在线。
• 利用预训练的物品嵌入，即使客户端数据不在训练集中，也能实现快速推理。

实验结果

研究问题

• RQ1 能否设计一种与同态加密原生兼容的推荐系统，同时保持高预测准确率？
• RQ2 在推荐即服务环境中，如何同时保护客户端输入数据和服务器模型及训练数据的隐私？
• RQ3 能否在无需客户端与服务器持续交互的情况下，高效计算安全推荐？
• RQ4 预训练模型在不重新训练的情况下，对新客户端提供准确推荐的范围有多大？
• RQ5 在真实推荐流水线中使用同态加密会带来多大的性能开销？

主要发现

• CryptoRec 利用同态加密实现了安全、非交互式的推荐，即使在处理数千个物品时，单台 PC 上的预测延迟也控制在几秒内。
• 该模型在预测准确率方面与在明文数据上运行的最先进推荐系统相比具有竞争力。
• 即使客户端数据未包含在服务器的训练集中，系统仍能通过预训练模型提供推荐，且在使用客户端数据重新训练后准确率进一步提升。
• 仅使用加法和乘法操作，使系统能无缝集成同态加密，避免了复杂的多轮协议。
• 该框架展示了实际效率，尽管同态加密计算成本较高，仍能在几秒内完成安全预测。
• 该方法支持安全的两方计算协议，客户端仅能获取推荐结果，而服务器无法获知客户端的输入信息。