[論文レビュー] Randomness Efficient Fast-Johnson-Lindenstrauss Transform with Applications in Differential Privacy and Compressed Sensing

Jalaj Upadhyay|arXiv (Cornell University)|Oct 9, 2014

Sparse and Compressive Sensing Techniques参考文献 56被引用数 15

ひとこと要約

本論文は、高速な行列-ベクトル乗算、限定的なスパarsity、最適な部分空間埋め込みを可能にする、スパースなランダム行列の新規分布を用いた、ランダムネス効率的で高速なジョンソン＝リンデンストラウス変換を導入する。この変換は、わずか $2n + n\log n$ 個のランダムビットで差分プライバシーを達成でき、プライベートな行列計算における低ランク近似の実行時間を向上させ、差分プライバシーおよび圧縮センシング分野における未解決問題を解決する。

ABSTRACT

The Johnson-Lindenstrauss property ({\sf JLP}) of random matrices has immense application in computer science ranging from compressed sensing, learning theory, numerical linear algebra, to privacy. This paper explores the properties and applications of a distribution of random matrices. Our distribution satisfies {\sf JLP} with desirable properties like fast matrix-vector multiplication, sparsity, and optimal subspace embedding. We can sample a random matrix from this distribution using exactly $2n+n \log n$ random bits. We show that a random matrix picked from this distribution preserves differential privacy under the condition that the input private matrix satisfies certain spectral property. This improves the run-time of various differentially private mechanisms like Blocki {\it et al.} (FOCS 2012) and Upadhyay (ASIACRYPT 13). Our final construction has a bounded column sparsity. Therefore, this answers an open problem stated in Blocki {\it et al.} (FOCS 2012). Using the results of Baranuik {\it et al.} (Constructive Approximation: 28(3)), our result implies a randomness efficient matrices that satisfies the Restricted-Isometry Property of optimal order for small sparsity with exactly linear random bits. We also show that other known distributions of sparse random matrices with the {\sf JLP} does not preserves differential privacy; thereby, answering one of the open problem posed by Blocki {\it et al.} (FOCS 2012). Extending on the works of Kane and Nelson (JACM: 61(1)), we also give unified analysis of some of the known Johnson-Lindenstrauss transform. We also present a self-contained simplified proof of an inequality on quadratic form of Gaussian variables that we use in all our proofs.

研究の動機と目的

• 最小限のランダムネスを用いながらも、高速な行列-ベクトル乗算と限定的なスパarsityを維持するジョンソン＝リンデンストラウス変換の開発。
• スペクトル的性質が良好な行列に適用した場合、この変換が差分プライバシーを保持することの確立。
• 差分プライバシー分野における未解決問題、特にプライベートな低ランク近似とスパースなランダム行列におけるスパarsityの制限要件の解決。
• 制限等長性性質（RIP）の保証を通じて、多様体学習および圧縮センシングへの応用可能性の拡張。
• 既知のスパースなランダム行列構成（JLPを満たすもの）が、差分プライバシーを保持しないことの特定と、ブロックイらの未解決問題への回答。

提案手法

• 線形ランダムサンプルと構造的スパarsityを用いたランダム行列分布の構築により、高速な行列-ベクトル乗算を保証。
• ランダム置換、各列に $O(\log n)$ 個の非ゼロ要素を持つスパース行列、およびガウス行列の合成を用いてJLPを達成。
• 行列のサンプリングに $2n + n\log n$ 個のランダムビットを用い、ランダムネスの使用量を最小限に抑えつつ、高確率でJLPを維持。
• ハンソン＝ライト不等式とサブガウス分布の集中を用いて、新しい分布下でのJLPの証明。
• ケインとネルソン（JACM 2014）およびバラヌーキら（CA 2008）の結果を活用し、スパarsityが小さい場合に最適なオーダーの制限等長性性質（RIP）を満たすことを示す。
• ガウス変数の二次形式に関する重要な不等式の自己完備的証明を提供し、これによりすべての理論的保証が裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 スパースなランダム行列を用いたジョンソン＝リンデンストラウス変換を、$O(n \log n)$ 個のランダムビットで構築可能であり、かつ高速な行列-ベクトル乗算と限定的なスパarsityを満たすことができるか？
• RQ2 JLPを満たすスパースなランダム行列分布は、プライベートな行列計算において差分プライバシーを保持するか？
• RQ3 このような変換を用いて、より高速な差分プライバシーを満たす低ランク近似アルゴリズムを設計可能か？
• RQ4 この構成下で、スパース行列を用いて最適な制限等長性性質（RIP）を達成可能か？
• RQ5 既存のスパースJLT構成がなぜ差分プライバシーを保持しないのか、そしてその理由を形式的に特定可能か？

主な発見

• 提案された分布は、$r = O(\varepsilon^{-2} \log(1/\delta))$ 次元でジョンソン＝リンデンストラウス性質を満たし、わずか $2n + n\log n$ 個のランダムビットで実現可能。
• 変換により、$O(n \log n)$ 時間で高速な行列-ベクトル乗算が可能であり、ガウス行列の $\Omega(rn)$ 時間と比べ顕著な高速化が達成される。
• 入力行列のスペクトルノルムが有界である場合、この構成は差分プライバシーを保持する。これにより、先行研究より高速な差分プライバシーを満たすアルゴリズムが実現可能。
• ブロックイら（FOCS 2012）の未解決問題に答え、列スパarsityが有界であることが差分プライバシーと両立可能であることを示した。
• 既知のスパースJLT構成（例：マトゥシェク、ダスガプタ）が差分プライバシーを保持しないことが証明され、重要な未解決問題が解決された。
• 変換により、スパarsityが小さい場合に最適なオーダーの制限等長性性質（RIP）を満たす新たな分布が導出可能であることが示され、バラヌーキらの結果を用いて裏付けられた。