[논문 리뷰] Towards a More Reliable Privacy-preserving Recommender System

Jiahong jiang, Cheng–Te Li외 1명|arXiv (Cornell University)|2017. 11. 21.

Privacy-Preserving Technologies in Data참고 문헌 9인용 수 6

한 줄 요약

이 논문은 두 단계의 랜덤라이즈드 리스폰스 알고리즘과 분산 행렬 분해를 사용하여 사용자 평가 점수, 평가 존재 여부 및 학습된 추천 모델을 모두 보호하는 프라이버시 보장 프레임워크인 보안 분산 공동 필터링(SDCF)을 제안한다. SDCF는 높은 추천 정확도를 유지하면서도 차별적 프라이버시를 달성하며, 수치적 및 일괄 평가 예측 작업 전반에서 RMSE 및 AUC 손실이 비프라이버시 기준선과 유사하다.

ABSTRACT

This paper proposes a privacy-preserving distributed recommendation framework, Secure Distributed Collaborative Filtering (SDCF), to preserve the privacy of value, model and existence altogether. That says, not only the ratings from the users to the items, but also the existence of the ratings as well as the learned recommendation model are kept private in our framework. Our solution relies on a distributed client-server architecture and a two-stage Randomized Response algorithm, along with an implementation on the popular recommendation model, Matrix Factorization (MF). We further prove SDCF to meet the guarantee of Differential Privacy so that clients are allowed to specify arbitrary privacy levels. Experiments conducted on numerical rating prediction and one-class rating action prediction exhibit that SDCF does not sacrifice too much accuracy for privacy.

연구 동기 및 목표

• 공동 필터링 시스템에서 평가 점수의 프라이버시 누출, 평가 존재 여부, 학습된 추천 모델의 프라이버시 누출 문제를 해결하기 위해.
• 모든 민감한 데이터를 클라이언트 측에 유지하여 신뢰할 수 없는 서버로의 전송을 제거하는 분산 클라이언트-서버 아키텍처를 설계하기 위해.
• 모델 학습과 함께 두 단계의 랜덤라이즈드 리스폰스 메커니즘을 통합하여 형식적인 차별적 프라이버시 보장을 제공하기 위해.
• 특히 수치적 및 일괄 평가 예측 작업 전반에서 강력한 프라이버시 보호에도 불구하고 높은 추천 정확도를 유지하기 위해.
• 기존의 행렬 분해 외에도 경사 하강법을 사용하는 모델(예: 팩터리제이션 머신)과 같은 다른 모델로의 확장 가능성을 고려하기 위해.

제안 방법

• SDCF는 행렬 분해 모델을 사용자별 개인 요소(U)와 항목별 공용 요소(V)로 분리하여, 서버에는 오직 V만 저장하고 U와 평가 데이터는 클라이언트 측에 유지한다.
• 학습 과정에서 클라이언트는 공용 요소(V)를 다운로드하고, 개인 요소(U)를 로컬에서 업데이트한 후, 서버로 전송하는 것은 공용 요소의 기울기뿐이므로 값과 모델 누출을 방지한다.
• 두 단계의 랜덤라이즈드 리스폰스 알고리즘이 적용되어 사용자 평가의 존재 여부와 값이 마스킹되어 클라이언트 수준에서 차별적 프라이버시를 확보한다.
• 첫 번째 단계에서는 랜덤라이즈드 리스폰스를 사용해 평가 점수를 흐리게 하고, 두 번째 단계에서는 평가 존재 여부를 확률적으로 조작함으로써 존재 여부를 마스킹한다.
• 두 단계의 RR 과정에서 철저히 校정된 프라이버시 파rameter(εg 및 εI)를 통해 프라이버시 손실이 εg와 εI 이내로 제한되도록 하여 프라이버시 보장을 보장한다.
• 사용자 관련 파라미터(예: w_c, v^l_c)를 개인 요소로 간주하고 항목 관련 파라미터를 공용 요소로 간주함으로써, 팩터리제이션 머신에 대해 이 방법을 확장하여 기울기 기반 분산 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 분산 공동 필터링 프레임워크가 평가 점수, 평가 존재 여부 및 학습된 모델의 프라이버시를 동시에 보존할 수 있는가?
• RQ2 신뢰할 수 없는 서버나 제3자에 의존하지 않고도 분산 행렬 분해 환경에서 형식적인 차별적 프라이버시 보장을 어떻게 확보할 수 있는가?
• RQ3 두 단계의 랜덤라이즈드 리스폰스 메커니즘이 수치적 및 일괄 평가 예측 작업 전반에서 추천 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크는 경사 하강법을 사용하는 팩터리제이션 머신과 같은 다른 모델로 일반화될 수 있는가?
• RQ5 다양한 프라이버시 예산(εg, εI)은 프라이버시와 추천 유틸리티 사이의 트레이드오프에 어떤 영향을 미치는가?

주요 결과

• SDCF는 두 단계의 랜덤라이즈드 리스폰스 메커니즘을 통해 차별적 프라이버시를 달성하며, 프라이버시 손실이 εg와 εI 이내로 제한됨을 형식적으로 증명하였다.
• 수치적 평가 예측 작업에서는 εg = 4일 경우 RMSE 값이 비프라이버시 기준선과 유사하게 유지되며, 충분한 학습 반복 후 성능 포화 상태에 도달한다.
• 일괄 평가 행동 예측 작업에서는 AUC 손실이 비프라이버시 기준선 대비 0.03~0.07 증가할 뿐이므로, 노이즈로 인한 정보 손실에도 불구하고 허용 가능한 유틸리티를 유지함을 시사한다.
• 일부 평가 행동이 페르튜베이션-리스폰스 룰(PRR)에 의해 삭제되면서도 일괄 작업에서는 성능 저하가 더 두드러지게 나타나지만, 정확도는 여전히 높고 유용하다.
• 모든 원본 데이터와 개인 모델 파라미터가 클라이언트 측에 유지되어 값, 모델, 존재 여부 누출을 효과적으로 방지함을 입증하였다.
• 이 방법은 팩터리제이션 머신 및 기타 기울기 기반 모델로도 확장 가능하여, 기존의 행렬 분해를 넘어서 광범위한 적용 가능성을 확보하였다.