[논문 리뷰] Differentially Private Linear Algebra in the Streaming Model

Jalaj Upadhyay|arXiv (Cornell University)|2014. 01. 01.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 12

한 줄 요약

이 논문은 스트리밍 모델에서 선형 대수의 첫 번째 스케치 기반 비밀 보장 알고리즘을 제안하며, 공간 복잡도를 로그 인자까지 최적화한다. 저자들은 새로운 방식으로 동일한 무작위 가우시안 행렬을 재사용함으로써, 단일 패assing을 통한 저질서 근사, 선형 회귀, 행렬 곱셈을 수행하면서도 비밀 보장 성질을 유지한다. 이로 인해 추가 오차 한계가 향상되어, 비밀 보장되지 않은 경우의 최고 성능과 동일한 공간 복잡도를 달성한다.

ABSTRACT

Numerical linear algebra plays an important role in computer science. In this paper, we initiate the study of performing linear algebraic tasks while preserving privacy when the data is streamed online. Our main focus is the space requirement of the privacy-preserving data-structures. We give the first {\em sketch-based} algorithm for differential privacy. We give optimal, up to logarithmic factor, space data-structures that can compute low rank approximation, linear regression, and matrix multiplication, while preserving differential privacy with better additive error bounds compared to the known results. Notably, we match the best known space bound in the non-private setting by Kane and Nelson (J. ACM, 61(1):4). Our mechanism for differentially private low-rank approximation {\em reuses} the random Gaussian matrix in a specific way to provide a single-pass mechanism. We prove that the resulting distribution also preserve differential privacy. This can be of independent interest. We do not make any assumptions, like singular value separation or normalized row assumption, as made in the earlier works. The mechanisms for matrix multiplication and linear regression can be seen as the private analogues of the known non-private algorithms. All our mechanisms, in the form presented, can also be computed in the distributed setting.

연구 동기 및 목표

• 스트리밍 모델에서 기본적인 선형 대수 작업을 위한 비밀 보장되고 공간 효율적인 알고리즘을 설계하기.
• 기존의 비밀 보장 알고리즘이 데이터를 여러 번 스캔해야 하는 한계를 극복하기.
• 비밀 보장되지 않은 스트리밍 알고리즘의 최고 성능과 공간 복잡도를 로그 인자까지 일치시키기.
• 단일 스트리밍 환경에서 비밀 보장 성질을 갖는 첫 번째 스케치 기반 메커니즘을 제공하며, 특이값 분리나 정규화된 행에 대한 가정이 필요하지 않도록 하기.

제안 방법

• 비밀 보장되는 방식으로 데이터를 압축하기 위해 무작위 가우시안 행렬을 존슨-린든스트라우스 변환으로 활용한다.
• 비밀 보장성을 유지하면서 단일 패assing 처리를 가능하게 하기 위해, 동일한 무작위 가우시안 행렬을 여러 연산에 재사용한다.
• 비밀 보장 성질을 확보하기 위해 주의 깊게 노이즈 캘리브레이션과 행렬 구조 유지 기법을 적용한 수정된 스케칭 메커니즘을 적용한다.
• 이중 단계의 유효성 분석을 수행한다: 먼저 스케칭 공간 내의 오차를 근사하고, 그 다음 특이값 분해와 노름 부등식을 통해 원래 행렬로의 오차를 연결한다.
• 스케칭의 정확도 오차를 높은 확률로 제어하기 위해 리마인드 5.5를 활용한다.
• 카인과 넬슨의 비밀 보장되지 않은 스트리밍 알고리즘(예: Kane and Nelson)을 비밀 보장 스케칭과 노이즈 주입을 통합하여 비밀 보장된 유사 알고리즘으로 변형한다.

실험 결과

연구 질문

• RQ1 스케치 기반 방법이 단일 패assing 스트리밍 모델에서 공간 효율성을 잃지 않고 비밀 보장되도록 만들 수 있는가?
• RQ2 스트리밍 환경에서 비밀 보장된 저질서 근사, 선형 회귀, 행렬 곱셈을 계산하기 위해 필요한 최소 공간은 얼마인가?
• RQ3 특이값 분리나 행 정규화와 같은 가정 없이도 비밀 보장 성질을 유지할 수 있는가?
• RQ4 비밀 보장 선형 대수의 추가 오차가 스트리밍 모델에서 최고의 비비밀 보장 대응 기법과 비교해 어떻게 되는가?
• RQ5 비밀 보장되지 않은 스트리밍 알고리즘의 최적 공간 복잡도를 유지하면서도 비밀 보장 성질을 확보할 수 있는가?

주요 결과

• 제안된 알고리즘은 로그 인자까지 최적화된 공간 복잡도를 달성하며, 카인과 넬슨(J. ACM, 61(1):4)이 확보한 최고의 비비밀 보장 스트리밍 복잡도와 일치한다.
• 비밀 보장된 저질서 근사에 대한 메커니즘은 동일한 무작위 가우시안 행렬을 여러 연산에 재사용하여 비밀 보장성을 확보하고 단일 패assing 계산을 가능하게 한다.
• 모든 세 가지 작업—LRA, LIN-REG, MAT-MULT—에 대해 이전의 비밀 보장 알고리즘보다 개선된 추가 오차 한계를 확보한다.
• 특이값 분리나 정규화된 행에 대한 가정이 필요 없어 이전 연구들보다 더 넓은 적용 범위를 갖는다.
• 유효성 분석을 통해 선형 회귀와 저질서 근사에서 오차가 비비밀 보장 오차의 (1 + 4α) 배에 작은 추가 항 τ를 더한 범위 내에 제한됨을 증명한다.
• 모든 메커니즘은 분산 환경과 호환되어 다수의 당사자 간에 비밀 보장된 계산을 가능하게 한다.