[논문 리뷰] Fast and Space-optimal Low-rank Factorization in the Streaming Model With Application in Differential Privacy.

Jalaj Upadhyay|arXiv (Cornell University)|2016. 04. 05.

Privacy-Preserving Technologies in Data참고 문헌 93인용 수 13

한 줄 요약

이 논문은 전위 모델에서 낮은 질량 행렬 분해를 위한 공간 최적의 스트리밍 알고리즘을 제안하며, 스케치 저장소를 다섯 개에서 세 개로 줄입니다. 기존 작업보다 더 강력한 개인 정보 보호 보장을 제공하는 두 가지 다른적 비밀 보장 버전을 도입하여, 선형 시간 분해와 $\tilde{O}(1)$ 업데이트 시간, 최적의 공간 사용을 달성합니다.

ABSTRACT

In this paper, we consider the problem of computing a low-rank factorization of an $m imes n$ matrix in the general turnstile update model. We consider both the private and non-private setting. In the non-private setting, we give a space-optimal algorithm that computes a low-rank factorization. Our algorithm maintains three sketches of the matrix instead of five as in Boutsidis {\it et al.} (STOC 2016). Our algorithm takes $\widetilde{O}(1)$ time to update the sketch and computes the factorization in time linear in the sparsity and the dimensions of the matrix. In the private setting, we study low-rank factorization in the framework of differential privacy and under turnstile updates. We give two algorithms with respect to two levels of privacy. Both of our privacy levels are stronger than earlier studied privacy levels, namely that of Blocki {\it et al.} (FOCS 2012), Dwork {\it et al.} (STOC 2014), Hardt and Roth (STOC 2012, STOC 2013), and Hardt and Price (NIPS 2014).

연구 동기 및 목표

• 전위 스트리밍 모델에서 낮은 질량 행렬 분해를 위한 공간 최적 알고리즘을 설계하기.
• 기존 작업보다 공간 효율성을 높이기 위해 필요한 스케치 수를 다섯 개에서 세 개로 줄이기.
• 기존 접근 방식보다 더 강력한 개인 정보 보호 보장을 제공하는 분해 알고리즘의 차별적 비밀 보장 변형 개발하기.
• 스트리밍 환경에서 선형 시간 분해와 $\tilde{O}(1)$ 업데이트 시간을 달성하기.
• 동일한 통합 프레임워크 하에 비공개 및 공개 설정을 모두 지원하기.

제안 방법

• 정확도를 유지하면서 공간 사용을 줄이기 위해 입력 행렬의 스케치를 다섯 개에서 세 개로 유지.
• 전위 업데이트 하에서 낮은 질량 근사치를 유지하기 위해 무작위 차원 축소 기법을 사용.
• 비공개 버전은 행렬 희소성과 차원에 비례하는 선형 시간 내에 분해를 계산.
• 차별적 비밀 보장을 확보하기 위해 고급 복합성과 노이즈 캘리브레이션을 적용.
• 두 가지 서로 다른 개인 정보 보호 수준을 도입하였으며, 이는 Blocki 등 (FOCS 2012), Dwork 등 (STOC 2014), Hardt & Roth (STOC 2012, 2013; NIPS 2014)의 결과보다 더 강력합니다.
• 각 업데이트당 $\tilde{O}(1)$ 시간 내에 동적 전위 업데이트를 지원하는 알고리즘.

실험 결과

연구 질문

• RQ1 전위 스트리밍 모델에서 낮은 질량 분해를 최적의 공간 사용으로 수행할 수 있는가?
• RQ2 정확도를 훼손하지 않고 스케치 수를 다섯 개에서 세 개로 줄일 수 있는가?
• RQ3 스트리밍 환경에서 더 강력한 개인 정보 보호 보장을 요구할 경우의 영향은 무엇인가?
• RQ4 전위 모델에서 차별적 비밀 보장 하에 효율적인 선형 시간 분해를 달성할 수 있는가?
• RQ5 제안된 개인 정보 보호 수준은 기존 작업 대비 강도와 유용성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 알고리즘은 전위 모델에서 낮은 질량 분해에 대해 공간 최적성을 달성하며, 다섯 개 대신 세 개의 스케치만 사용.
• 비공개 버전은 행렬의 희소성과 차원에 비례하는 선형 시간 내에 분해를 계산하며, $\tilde{O}(1)$ 업데이트 시간을 제공.
• Blocki 등 (FOCS 2012), Dwork 등 (STOC 2014), Hardt & Roth (STOC 2012, 2013; NIPS 2014)보다 더 강력한 개인 정보 보호 보장을 제공하는 두 가지 다른적 비밀 보장 변형을 제공.
• 최적의 공간 사용을 유지하면서 각 업데이트당 효율적인 $\tilde{O}(1)$ 시간 내에 동적 전위 업데이트를 지원.
• 비공개 및 공개 설정을 하나의 효율적이고 공간 최적의 접근 방식으로 통합하는 프레임워크 제공.
• 결과적으로 더 강력한 개인 정보 보장이 스트리밍 낮은 질량 분해에서 시간 또는 공간 효율성 손실 없이 달성될 수 있음을 입증.