[논문 리뷰] CryptoRec: Privacy-preserving Recommendation as a Service

Jun Wang, Afonso Arriaga외 2명|arXiv (Cornell University)|2018. 02. 07.

Cryptography and Data Security참고 문헌 36인용 수 5

한 줄 요약

CryptoRec는 동형 암호화를 사용하여 기밀성을 보장하는 추천 시스템을 제안하며, 클라이언트가 암호화된 평점을 제출하고 서버가 클라이언트 데이터를 알지 못한 채 예측을 반환하는 보안적인 추천 서비스(RaaS)를 가능하게 한다. 이 모델은 덧셈과 곱셈 연산만을 사용하여 동형 암호화와 천연 호환성을 가지며, 단일 PC에서 수천 개의 항목에 대해 밀리초 수준의 예측 시간을 달성하면서도 실제 데이터셋에서 최신 기술 수준의 정확도를 유지한다.

ABSTRACT

Recommender systems rely on large datasets of historical data and entail serious privacy risks. A server offering Recommendation as a Service to a client might leak more information than necessary regarding its recommendation model and dataset. At the same time, the disclosure of the client's preferences to the server is also a matter of concern. Devising privacy-preserving protocols using general cryptographic primitives (e.g., secure multi-party computation or homomorphic encryption), is a typical approach to overcome privacy concerns, but in conjunction with state-of-the-art recommender systems often yields far-from-practical solutions. In this paper, we tackle this problem from the direction of constructing crypto-friendly machine learning algorithms. In particular, we propose CryptoRec, a secure two-party computation protocol for Recommendation as a Service, which encompasses a novel recommender system. This model possesses two interesting properties: (1) It models user-item interactions in an item-only latent feature space in which personalized user representations are automatically captured by an aggregation of pre-learned item features. This means that a server with a pre-trained model can provide recommendations for a client whose data is not in its training set. Nevertheless, re-training the model with the client's data still improves accuracy. (2) It only uses addition and multiplication operations, making the model straightforwardly compatible with homomorphic encryption schemes. We demonstrate the efficiency and accuracy of CryptoRec on three real-world datasets. CryptoRec allows a server with thousands of items to privately answer a prediction query within a few seconds on a single PC, while its prediction accuracy is still competitive with state-of-the-art recommender systems computing over clear data.

연구 동기 및 목표

• 클라이언트 선호도와 서버 모델이 모두 민감한 추천 서비스(RaaS) 환경에서의 기밀성 위험을 해결한다.
• 현대 추천 시스템에 적용할 때 일반적인 암호화 솔루션(예: 보안 다자간 계산, 동형 암호화)의 비효율성을 극복한다.
• 동형 암호화와 천연 호환성을 가지는 기계학습 모델을 설계하여 효율적이고 비상호작용적인 보안 계산을 가능하게 한다.
• 클라이언트의 데이터가 훈련 세트에 포함되지 않은 경우에도 서버가 사전 훈련된 모델을 사용해 정확한 추천을 제공할 수 있도록 한다.
• 클라이언트 데이터로 모델을 재훈련하면 정확도가 향상되어 기능을 유지하면서도 기밀성을 보장한다.

제안 방법

• 사용자-항목 상호작용을 항목 전용 잠재 특성 공간에서 모델링하고, 사전 학습된 항목 특성의 집합을 통해 개인화된 사용자 표현을 포괄한다.
• 모델의 연산을 덧셈과 곱셈으로 제한하여 동형 암호화(HE) 체계와의 호환성을 확보한다.
• 클라이언트가 자신의 평점을 암호화하고 서버에 전송할 수 있도록 동형 암호화를 활용한다.
• 서버가 암호화된 데이터 위에서만 예측 계산을 수행하고, 암호화된 예측 결과만 반환하도록 한다.
• 예측 단계와 훈련 단계를 분리하여, 서버가 계산 중일 때 클라이언트가 온라인일 필요 없이 추천을 제공할 수 있도록 한다.
• 사전 훈련된 항목 임베딩을 활용하여, 클라이언트 데이터가 훈련 세트에 포함되지 않은 경우에도 빠른 추론이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 동형 암호화와 천연 호환성을 가지면서도 높은 예측 정확도를 유지하는 추천 시스템을 설계할 수 있는가?
• RQ2 RaaS 환경에서 클라이언트의 입력 데이터와 서버의 모델 및 훈련 데이터의 기밀성을 어떻게 보장할 수 있는가?
• RQ3 클라이언트와 서버 간의 지속적 상호작용 없이도 효율적으로 보안 추천을 계산할 수 있는가?
• RQ4 재훈련 없이도 사전 훈련된 모델이 새로운 클라이언트에게 얼마나 정확한 추천을 제공할 수 있는가?
• RQ5 실제 추천 파이프라인에서 동형 암호화를 사용할 경우 성능 오버헤드는 어느 정도인가?

주요 결과

• CryptoRec는 동형 암호화를 사용하여 비상호작용적 보안 추천을 가능하게 하며, 수천 개의 항목에 대해 단일 PC에서 몇 초 이내의 예측 지연 시간을 달성한다.
• 클라이언트 데이터를 명시적으로 처리하는 최신 기술 수준의 추천 시스템과 비교해도 경쟁 가능한 예측 정확도를 달성한다.
• 클라이언트 데이터가 서버의 훈련 세트에 포함되지 않은 경우에도 사전 훈련된 모델을 사용해 추천을 제공할 수 있으며, 클라이언트 데이터로 재훈련하면 정확도가 향상된다.
• 덧셈과 곱셈 연산만을 사용함으로써 동형 암호화와의 원활한 통합이 가능해져 복잡한 다단계 프로토콜을 피할 수 있다.
• 프레임워크는 실용적인 효율성을 입증하였으며, 동형 암호화의 계산 비용에도 불구하고 몇 초 내로 보안 예측을 완료한다.
• 이 접근법은 클라이언트가 추천 결과 외에는 아무것도 알 수 없고, 서버가 클라이언트의 입력에 대해 아무것도 알 수 없는 보안 양자간 계산 프로토콜을 가능하게 한다.