[논문 리뷰] Fast Differentially Private Matrix Factorization

Ziqi Liu, Yu-Xiang Wang외 1명|arXiv (Cornell University)|2015. 05. 06.

Privacy-Preserving Technologies in Data참고 문헌 22인용 수 9

한 줄 요약

이 논문은 높은 유효성과 함께 입증 가능한 사용자 수준의 프라이버시를 달성하기 위해 확률적 경량화 랭글린 다이내믹스(SGLD)를 활용하는 빠른 차별적 프라이버시 보장 행렬 분해 알고리즘을 제시한다. 데이터의 힘법 성질을 활용하고 CPU 캐시 효율성을 최적화함으로써, 이 방법은 1초당 850만 건의 추천을 달성하여 GraphChi 대비 약 3배 빠르며, 강력한 프라이버시-정확도 트레이드오프를 유지한다.

ABSTRACT

Differentially private collaborative filtering is a challenging task, both in terms of accuracy and speed. We present a simple algorithm that is provably differentially private, while offering good performance, using a novel connection of differential privacy to Bayesian posterior sampling via Stochastic Gradient Langevin Dynamics. Due to its simplicity the algorithm lends itself to efficient implementation. By careful systems design and by exploiting the power law behavior of the data to maximize CPU cache bandwidth we are able to generate 1024 dimensional models at a rate of 8.5 million recommendations per second on a single PC.

연구 동기 및 목표

• 사용자 프라이버시를 훼손하지 않으면서 추천 품질을 유지하는 빠른 차별적 프라이버시 보장 협업 필터링 시스템을 구축하는 데 도전하는 것.
• SGLD를 통한 사후 샘플링을 이용해 효율적이고 프라이버시 보장된 추론을 지원하는 확장 가능한 행렬 분해 프레임워크를 개발하는 것.
• 힘법 데이터 분포와 CPU 캐시 인식 메모리 액세스 패턴을 활용하여 시스템 성능을 최적화하는 것.
• 사용자 수준의 개인화된 프라이버시 예산을 제공하면서도 종단 간 차별적 프라이버시를 유지하는 것.
• 차별적 프라이버시 보장 행렬 분해가 매우 효율적이고 정확할 수 있음을 입증하여 비프라이버시 기반 시스템과 견줄 수 있도록 하는 것.

제안 방법

• 알고리즘은 사용자 수준의 차별적 프라이버시를 보장하기 위해 스케일된 사후 분포에서 샘플링하기 위해 확률적 경량화 랭글린 다이내믹스(SGLD)를 사용한다.
• 메모리 액세스 지연을 최소화하여 SGD 업데이트를 가속화하기 위해 새로운 캐시 효율적인 행렬 분해 프레임워크를 설계한다.
• SGLD에서 노이즈 회피 최적화를 통해 각 업데이트 시 전체 매개변수 공간에 가우시안 노이즈를 추가하는 것을 방지함으로써 정확성을 유지하면서도 속도를 향상시킨다.
• 손실 함수의 민감도를 제한하기 위해 잘라내기/재가중치 조정 절차를 적용하여 공식적인 차별적 프라이버시 보장을 가능하게 한다.
• 사용자별 데이터 민감도와 기여도에 기반해 개인화된 프라이버시 예산을 조정하는 메커니즘을 도입한다.
• 항목 특징 행렬 $V$만 공개적으로 배포되며, 각 사용자는 자신의 개인 데이터와 $V$를 사용해 현지에서 추천을 재계산함으로써 종단 간 프라이버시를 확보한다.

실험 결과

연구 질문

• RQ1 SGLD 기반 사후 샘플링은 대규모 행렬 분해에 대해 효율적으로 확장 가능할 수 있으며, 차별적 프라이버시를 유지할 수 있는가?
• RQ2 시스템 수준 최적화는 데이터의 힘법 행동을 어떻게 활용하여 차별적 프라이버시 보장 행렬 분해를 가속화할 수 있는가?
• RQ3 차별적 프라이버시 보장 추천 시스템은 속도와 정확도 면에서 비프라이버시 기반 시스템과 비교해 유사한 성능을 달성할 수 있는가?
• RQ4 개인화된 프라이버시 예산은 유효성과 시스템 효율성에 어떤 영향을 미치는가?
• RQ5 사용자 고유 데이터 폭넓은 노출을 최소화하면서도 강력한 프라이버시를 유지하고 현지 추천 추론을 가능하게 하기 위해 $V$만 공개하는 것이 가능한가?

주요 결과

• 제안된 알고리즘은 단일 PC에서 최대 1초당 850만 건의 추천을 달성하여, GraphChi 대비 약 3배 빠른 성능을 보였다.
• 시스템은 유의미한 프라이버시 수준($\epsilon \approx 1$)에서 비프라이버시 시스템과 거의 동일한 정확도를 보이며 유리한 프라이버시-정확도 트레이드오프를 나타냈다.
• 힘법 데이터 분포를 활용함으로써 CPU 캐시 대역폭 활용도를 극대화하여 계산 효율성을 크게 향상시켰다.
• SGLD 기반 접근법은 손실 함수의 민감도에서 유도된 공식적인 민감도 경계를 기반으로 사용자 수준의 $(\epsilon, \delta)$-차별적 프라이버시를 보장한다.
• 개인화된 프라이버시 보정 메커니즘은 시스템 전반의 성능 저하 없이 개별 프라이버시 예산에 대한 세밀한 제어를 가능하게 한다.
• 이 방법은 오직 $V$만 공유되는 현지 추천 아키텍처를 가능하게 하여 사용자 고유 데이터 폭넓은 노출을 최소화하고 프라이버시를 강화한다.