[논문 리뷰] Randomness Efficient Fast-Johnson-Lindenstrauss Transform with Applications in Differential Privacy and Compressed Sensing

Jalaj Upadhyay|arXiv (Cornell University)|2014. 10. 09.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 15

한 줄 요약

이 논문은 빠른 행렬-벡터 곱셈, 유한한 희소성, 최적의 부분공간 통합을 가능하게 하는 희소 랜덤 행렬의 새로운 분포를 사용하여 랜덤성 효율적이고 빠른 존슨-린든스트라우스 변환을 제안한다. 이는 사생활 보호 행렬 계산에 대해 오직 $2n + n\log n$개의 랜덤 비트만으로도 미세한 차별적 프라이버시를 달성하며, 사생활 보호적 저질랭크 근사화의 런타임을 향상시키고, 차별적 프라이버시 및 압축 감지 분야의 열린 문제를 해결한다.

ABSTRACT

The Johnson-Lindenstrauss property ({\sf JLP}) of random matrices has immense application in computer science ranging from compressed sensing, learning theory, numerical linear algebra, to privacy. This paper explores the properties and applications of a distribution of random matrices. Our distribution satisfies {\sf JLP} with desirable properties like fast matrix-vector multiplication, sparsity, and optimal subspace embedding. We can sample a random matrix from this distribution using exactly $2n+n \log n$ random bits. We show that a random matrix picked from this distribution preserves differential privacy under the condition that the input private matrix satisfies certain spectral property. This improves the run-time of various differentially private mechanisms like Blocki {\it et al.} (FOCS 2012) and Upadhyay (ASIACRYPT 13). Our final construction has a bounded column sparsity. Therefore, this answers an open problem stated in Blocki {\it et al.} (FOCS 2012). Using the results of Baranuik {\it et al.} (Constructive Approximation: 28(3)), our result implies a randomness efficient matrices that satisfies the Restricted-Isometry Property of optimal order for small sparsity with exactly linear random bits. We also show that other known distributions of sparse random matrices with the {\sf JLP} does not preserves differential privacy; thereby, answering one of the open problem posed by Blocki {\it et al.} (FOCS 2012). Extending on the works of Kane and Nelson (JACM: 61(1)), we also give unified analysis of some of the known Johnson-Lindenstrauss transform. We also present a self-contained simplified proof of an inequality on quadratic form of Gaussian variables that we use in all our proofs.

연구 동기 및 목표

• 최소한의 랜덤성을 사용하면서도 빠른 행렬-벡터 곱셈과 유한한 희소성을 유지하는 존슨-린든스트라우스 변환을 개발하는 것.
• 이 변환이 스펙트럴 성질이 유리한 행렬에 적용되었을 때 차별적 프라이버시를 유지함을 입증하는 것.
• 차별적 프라이버시 분야의 열린 문제, 특히 사생활 보호적 저질랭크 근사화와 희소 랜덤 행렬에서의 유한한 희소성 요구 조건을 해결하는 것.
• 제한-등장성 성질 보장을 통해 이 변환의 적용 범위를 다양체 학습 및 압축 감지로 확장하는 것.
• 기존의 JLP를 만족하는 희소 랜덤 행렬 구조가 사생활 보호를 유지하지 못함을 밝혀 블록리 등(2012년 FOCS)이 제기한 열린 질문에 답하는 것.

제안 방법

• 선형 랜덤 샘플과 구조적 희소성을 사용하여 행렬의 랜덤 분포를 구성함으로써, 빠른 행렬-벡터 곱셈을 보장하는 것.
• 랜덤 순열, 열당 $O(\log n)$개의 비제로 요소를 가지는 희소 행렬, 그리고 가우시안 행렬의 조합을 사용하여 JLP를 달성하는 것.
• 행렬을 샘플링하기 위해 $2n + n\log n$개의 랜덤 비트를 사용함으로써, 높은 확률로 JLP를 유지하면서도 랜덤성 사용을 최소화하는 것.
• 한슨-하우잇 부등식과 서브-가우시안 농도를 활용하여 새로운 분포 하에서 JLP를 증명하는 것.
• 케인과 넬슨(JACM 2014) 및 바라누이크 등(CA 2008)의 결과를 활용하여, 이 변환이 낮은 희소성에서 최적 순서의 제한-등장성 성질(Restricted-Isometry Property)을 만족함을 보여주는 것.
• 모든 이론적 보장을 뒷받침하는 가우시안 변수의 이차형식에 대한 핵심 부등식의 자가 포함 증명을 제공하는 것.

실험 결과

연구 질문

• RQ1 행렬-벡터 곱셈과 유한한 희소성을 보장하면서도 오직 $O(n \log n)$개의 랜덤 비트만을 사용하는 존슨-린든스트라우스 변환을 구성할 수 있는가?
• RQ2 JLP를 만족하는 희소 랜덤 행렬 분포가 사생활 보호 행렬 계산에서 차별적 프라이버시를 유지하는가?
• RQ3 이러한 변환을 사용하여 더 빠른 차별적 프라이버시가 보장되는 저질랭크 근사화 알고리즘을 설계할 수 있는가?
• RQ4 이러한 구조 하에서 희소 행렬로 최적의 제한-등장성 성질(RIP)을 달성할 수 있는가?
• RQ5 기존의 희소 JLT 구조가 왜 차별적 프라이버시를 유지하지 못하는가? 이는 공식적으로 특성화할 수 있는가?

주요 결과

• 제안된 분포는 랜덤 비트 수가 $2n + n\log n$개일 때, 차원 수 $r = O(\varepsilon^{-2} \log(1/\delta))$에서 존슨-린든스트라우스 성질을 만족한다.
• 이 변환은 $O(n \log n)$ 시간 내에 빠른 행렬-벡터 곱셈을 가능하게 하여, 가우시안 행렬의 $\Omega(rn)$ 시간에 비해 크게 향상된다.
• 입력 행렬의 스펙트럴 노름이 유한할 경우 이 변환은 차별적 프라이버시를 유지하며, 이는 이전 연구보다 더 빠른 사생활 보호 알고리즘을 가능하게 한다.
• 블록리 등(FOCS 2012)이 제기한 열린 문제를 해결하여, 열의 희소성이 유한한 것은 차별적 프라이버시와 호환됨을 보여주는 것.
• 기존의 희소 JLT 구조(예: 마투셰크, 다스구프타)가 차별적 프라이버시를 유지하지 못함을 증명하여 핵심 열린 질문을 해결한 것.
• 이 변환은 바라누이크 등이 제시한 결과를 통해, 낮은 희소성에서 최적 순서의 제한-등장성 성질(RIP)을 만족하는 새로운 분포를 암시한다.