[論文レビュー] Differentially Private Linear Algebra in the Streaming Model

Jalaj Upadhyay|arXiv (Cornell University)|Jan 1, 2014

Stochastic Gradient Optimization Techniques参考文献 25被引用数 12

ひとこと要約

本論文は、ストリーミングモデルにおける線形代数のための、初めてのスケッチベースの微分プライバシー保証アルゴリズムを提示する。空間計算量は対数要因を除いて最適である。著者らは、新しい方法でランダムなガウス行列を再利用することで、1パスで低ランク近似、線形回帰、行列積を計算可能にし、微分プライバシーを保持しつつ、追加誤差の境界を改善した。非プライベートの空間計算量の最良境界と一致する。

ABSTRACT

Numerical linear algebra plays an important role in computer science. In this paper, we initiate the study of performing linear algebraic tasks while preserving privacy when the data is streamed online. Our main focus is the space requirement of the privacy-preserving data-structures. We give the first {\em sketch-based} algorithm for differential privacy. We give optimal, up to logarithmic factor, space data-structures that can compute low rank approximation, linear regression, and matrix multiplication, while preserving differential privacy with better additive error bounds compared to the known results. Notably, we match the best known space bound in the non-private setting by Kane and Nelson (J. ACM, 61(1):4). Our mechanism for differentially private low-rank approximation {\em reuses} the random Gaussian matrix in a specific way to provide a single-pass mechanism. We prove that the resulting distribution also preserve differential privacy. This can be of independent interest. We do not make any assumptions, like singular value separation or normalized row assumption, as made in the earlier works. The mechanisms for matrix multiplication and linear regression can be seen as the private analogues of the known non-private algorithms. All our mechanisms, in the form presented, can also be computed in the distributed setting.

研究の動機と目的

• ストリーミングモデルにおける基本的な線形代数タスクのための、微分プライバシー保証済みかつ空間効率の良いアルゴリズムを設計すること。
• 既存のプライベートアルゴリズムがデータを複数回走査する必要があるという制限を克服すること。
• 非プライベートのストリーミングアルゴリズムで達成可能な最良の空間計算量と、対数要因を除いて一致する空間計算量を達成すること。
• 特異値の分離や正規化された行といった仮定を必要としない、ストリーミング環境における微分プライバシーのための最初のスケッチベースのメカニズムを提供すること。

提案手法

• データをプライバシーを保ちつつ圧縮するために、ランダムなガウス行列をジョンソン＝リンドンストロム変換として活用する。
• プライバシーを維持しつつ1パス処理を可能にするために、複数の操作にわたって同じランダムなガウス行列を再利用する。
• 微分プライバシーを確保するために、注意深くノイズをキャリブレーションし、行列構造を保持する修正されたスケッチメカニズムを適用する。
• 2段階のユーティリティ解析を実施：まずスケッチ空間内の誤差を制限し、その後特異値分解とノルム不等式を用いて元の行列に戻す。
• 近似誤差を高確率で制御するために、レムマ5.5（ジョンソン＝リンドンストロム埋め込み）を用いる。
• プライバシー保護のスケッチとノイズ注入を統合することで、非プライベートのストリーミングアルゴリズム（例：KaneとNelson）をプライベート版に変換する。

実験結果

リサーチクエスチョン

• RQ1 スケッチベースの手法を、空間効率を損なわずに1パスストリーミングモデルで微分プライバシー保証可能か？
• RQ2 ストリーミング環境において、微分プライバシー保証の低ランク近似、線形回帰、行列積を計算するために必要な最小の空間量は何か？
• RQ3 特異値の分離や行の正規化といった仮定を必要とせず、プライバシー保証を維持できるか？
• RQ4 ストリーミングモデルにおけるプライベート線形代数の追加誤差は、非プライベートの最良手法と比べてどの程度か？
• RQ5 非プライベートストリーミングアルゴリズムの最適空間計算量を維持しつつ、微分プライバシーを保証することは可能か？

主な発見

• 提案されたアルゴリズムは、KaneとNelson（J. ACM, 61(1):4）が得た最良の非プライベートストリーミング境界と、対数要因を除いて一致する空間計算量を達成する。
• 微分プライバシー保証の低ランク近似のメカニズムは、1つのランダムなガウス行列を複数の操作にわたって再利用することで、プライバシーを確保し、1パス計算を可能にする。
• すべての3つのタスク（LRA、LIN-REG、MAT-MULT）における追加誤差境界は、先行するプライベートアルゴリズムよりも改善されている。
• 特異値の分離や正規化された行といった仮定を必要としないため、先行研究よりもより広く適用可能である。
• ユーティリティ解析により、回帰および低ランク近似の誤差が、非プライベート誤差の(1 + 4α)倍に、さらに小さな加法的項τを加えたもので抑えられることを示した。
• すべてのメカニズムは分散環境と互換性があり、複数の参加者間でのプライベート計算が可能である。