[論文レビュー] Fast and Space-optimal Low-rank Factorization in the Streaming Model With Application in Differential Privacy.

Jalaj Upadhyay|arXiv (Cornell University)|Apr 5, 2016

Privacy-Preserving Technologies in Data参考文献 93被引用数 13

ひとこと要約

この論文は、転倒モデルにおける低ランク行列因子分解のための空間最適なストリーミングアルゴリズムを提示している。スケッチの保存領域を5つから3つに削減した。先行研究よりも強いプライバシー保証を持つ2種類のプライバシー保護型バージョンを導入し、$\tilde{O}(1)$の更新時間と空間最適性を達成する線形時間因子分解を実現した。

ABSTRACT

In this paper, we consider the problem of computing a low-rank factorization of an $m imes n$ matrix in the general turnstile update model. We consider both the private and non-private setting. In the non-private setting, we give a space-optimal algorithm that computes a low-rank factorization. Our algorithm maintains three sketches of the matrix instead of five as in Boutsidis {\it et al.} (STOC 2016). Our algorithm takes $\widetilde{O}(1)$ time to update the sketch and computes the factorization in time linear in the sparsity and the dimensions of the matrix. In the private setting, we study low-rank factorization in the framework of differential privacy and under turnstile updates. We give two algorithms with respect to two levels of privacy. Both of our privacy levels are stronger than earlier studied privacy levels, namely that of Blocki {\it et al.} (FOCS 2012), Dwork {\it et al.} (STOC 2014), Hardt and Roth (STOC 2012, STOC 2013), and Hardt and Price (NIPS 2014).

研究の動機と目的

• 転倒ストリーミングモデルにおける低ランク因子分解のための空間最適なアルゴリズムの設計。
• スケッチの数を5つから3つに削減し、先行研究よりも空間効率を向上。
• 既存の手法よりも強いプライバシー保証を持つ、因子分解アルゴリズムの差分プライバシー版の開発。
• ストリーミング環境下で線形時間因子分解と$\tilde{O}(1)$の更新時間の両立。
• 同一の統一フレームワーク下で非プライベートおよびプライベート設定の両方をサポート。

提案手法

• アルゴリズムは入力行列のスケッチを5つではなく3つ維持することで、空間使用量を削減しながらも正確性を保持。
• ランダム化次元削減技術を用いて、転倒更新下でも低ランク近似を維持。
• 非プライベート版は、行列のスパarsityおよび次元数に比例する線形時間で因子分解を計算。
• 差分プライバシーのため、高度な合成とノイズキャリブレーションを適用し、強いプライバシー保証を確保。
• 2種類の異なるプライバシー水準を導入し、Blockiら（FOCS 2012）、Dworkら（STOC 2014）、Hardt & Roth（STOC 2012, 2013; NIPS 2014）のものよりも強力な保証を達成。
• $\tilde{O}(1)$の時間で更新可能な、動的転倒更新をサポート。

実験結果

リサーチクエスチョン

• RQ1 転倒ストリーミングモデルにおいて、低ランク因子分解を空間最適に計算できるか？
• RQ2 正確性を損なわずに、必要なスケッチの数を5つから3つに削減できるか？
• RQ3 ストリーミング環境下で、より強いプライバシー保証を課した場合、差分プライバシーにどのような影響が生じるか？
• RQ4 転倒モデル下で、差分プライバシーのもとで効率的かつ線形時間因子分解を達成できるか？
• RQ5 提案されたプライバシー水準は、先行研究と比較して強度と実用性の面でどう異なるか？

主な発見

• 提案されたアルゴリズムは、スケッチを5つではなく3つで使用するため、転倒モデルにおける低ランク因子分解で空間最適性を達成した。
• 非プライベート版は、行列のスパarsityおよび次元数に比例する線形時間で因子分解を実行し、$\tilde{O}(1)$の更新時間を持つ。
• Blockiら（FOCS 2012）、Dworkら（STOC 2014）、Hardt & Roth（STOC 2012, 2013; NIPS 2014）のものよりも強いプライバシー保証を持つ2種類の差分プライバシー版を提供。
• 最適な空間使用量を維持しながら、効率的な$\tilde{O}(1)$の更新時間で動的転倒更新をサポート。
• 非プライベートおよびプライベート設定を統一されたフレームワークで1つの効率的かつ空間最適な手法で統合。
• より強いプライバシーを達成しても、時間的・空間的効率性を損なわずにストリーミング低ランク因子分解を実現できることを示した。