[논문 리뷰] Differentially Private Matrix Completion Revisited

Prateek Jain, Om Thakkar외 1명|arXiv (Cornell University)|2017. 12. 28.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 8

한 줄 요약

이 논문은 프랭크-울프 방법을 사용하여 사용자 수준의 프라이버시 보장을 갖는 처음으로 증명 가능하고 공동으로 비밀리에 보호되는 행렬 완성 알고리즘을 제안하며, 사용자 수가 $ n^{5/4} $ 를 초과하는 경우에도 뛰어난 유효성을 달성한다. 또한 희소 행렬에서의 효율성을 높이기 위해 최적화된 비밀리에 보호되는 특이벡터 계산을 Oja의 알고리즘을 통해 도입하여, 다양한 벤치마크 데이터셋에서 이전의 비밀리에 보호된 방법들보다 정확도가 뛰어나다.

ABSTRACT

We provide the first provably joint differentially private algorithm with formal utility guarantees for the problem of user-level privacy-preserving collaborative filtering. Our algorithm is based on the Frank-Wolfe method, and it consistently estimates the underlying preference matrix as long as the number of users $m$ is $ω(n^{5/4})$, where $n$ is the number of items, and each user provides her preference for at least $\sqrt{n}$ randomly selected items. Along the way, we provide an optimal differentially private algorithm for singular vector computation, based on the celebrated Oja's method, that provides significant savings in terms of space and time while operating on sparse matrices. We also empirically evaluate our algorithm on a suite of datasets, and show that it consistently outperforms the state-of-the-art private algorithms.

연구 동기 및 목표

• 사용자 전체의 평가 프로파일 프라이버시가 보장되는 비밀리에 보호되는 행렬 완성 알고리즘을 설계하는 것.
• 공동 비밀리 보호 하에서 제안된 알고리즘의 공식적인 유효성 보장을 제공하여 기저의 선호 행렬 추정의 정확성을 확보하는 것.
• 특히 희소 사용자-아이템 선호 행렬에 대해 비밀리에 보호된 방식으로 최상위 특이벡터를 최적화하는 것.
• 실제 추천 데이터셋에서 기존의 비밀리에 보호된 행렬 완성 기준선들보다 뛰어난 성능을 경험적으로 입증하는 것.
• 기존 연구에서 입맛 수준의 프라이버시만 제공하거나 공식적인 오차 경계가 없는 한계를 해결하는 것.

제안 방법

• 핵심 알고리즘은 공동 비밀리 보호를 유지하면서 낮은 질서의 선호 행렬을 반복적으로 추정하기 위해 프랭크-울프 방법을 사용한다.
• 희소 행렬에 최적화된 수정된 오자의 알고리즘을 통해 비밀리에 보호된 특이벡터 계산을 통합하여 거의 최적의 유효성을 달성한다.
• 모든 반복 단계에서 비밀리 보호 예산을 유지하면서 정확도 손실을 최소화하기 위해 노이즈를 적응적으로 캘리브레이션한다.
• 프라이버시 비용을 들이지 않고도 민감도를 줄이기 위해 각 사용자별로 국소적으로 평균을 빼는 정규화를 수행한다.
• 핵심 파라미터인 질서와 반복 횟수 등을 교차 검증을 통해 조정함으로써 핵심 노름 제약 조건을 지원한다.
• 사용자-아이템 상호작용의 희소성을 활용하여 표준 비밀리에 보호된 SVD에 비해 시간과 공간 복잡도를 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 공동 비밀리 보호 하에서 사용자 수준의 프라이버시를 보장하는 행렬 완성 알고리즘을 설계할 수 있는가?
• RQ2 비밀리에 보호되는 행렬 완성에서 프라이버시 예산과 추정 정확도 사이의 최적의 트레이드오프는 무엇인가?
• RQ3 희소하고 대규모의 행렬에 대해 비밀리에 보호된 특이벡터 계산을 정확하고 효율적으로 수행할 수 있는가?
• RQ4 제안된 프랭크-울프 기반 접근법이 RMSE와 확장성 측면에서 기존의 비밀리에 보호된 행렬 완성 방법보다 뛰어나게 성능을 발휘하는가?
• RQ5 비밀리에 보호된 오자의 방법을 사용하여 비밀리에 보호된 주성분 분석 및 기타 저질서 근사 작업을 가속화할 수 있는가?

주요 결과

• 제안된 비밀리에 보호된 프랭크-울프 알고리즘은 합성 데이터, Jester, MovieLens10M, Netflix, Yahoo! Music을 포함한 모든 데이터셋에서 비밀리에 보호된 SVD 기반 및 비밀리에 보호된 PGD 기준선보다 테스트 RMSE가 유의미하게 낮게 유지된다.
• 사용자 수 $ m $ 가 $ heta(n^{5/4}) $ 인 경우에도 강력한 유효성을 유지하여 기저의 선호 행렬을 일관되게 추정한다.
• 비밀리에 보호된 오자의 방법은 거의 최적의 특이벡터 추정을 제공하면서 시간과 공간 복잡도를 감소시켜 특히 희소 행렬에 유리하다.
• 경험적 결과는 비밀리에 보호된 Oja의 방법을 사용한 비밀리에 보호된 FW가 최적화되지 않은 변형과 비교해 정확도 손실이 거의 없음을 보여주며, 그 효율성을 검증한다.
• 공정한 프라이버시 예산 비교 하에서, 이는 '청소 후 SVD' 방법 [43]을 포함한 최첨단 비밀리에 보호된 알고리즘들보다도 뛰어난 성능을 발휘한다.
• 알고리즘은 $ ho $-공동 비밀리 보호를 통해 사용자 수준의 프라이버시를 확보하며, 이는 항목 수준의 프라이버시 파rameter $ ho imes rac{1}{ ext{사용자당 평균 평가 수}} $ 로 변환되어 강력한 프라이버시 보장을 보장한다.