[論文レビュー] Fast Differentially Private Matrix Factorization

Ziqi Liu, Yu-Xiang Wang+1 more|arXiv (Cornell University)|May 6, 2015

Privacy-Preserving Technologies in Data参考文献 22被引用数 9

ひとこと要約

本論文は、Stochastic Gradient Langevin Dynamics (SGLD) を活用して、高い実用性を実現する、高速で微分プライベートな行列分解アルゴリズムを提示する。データのパワー則的性質を活用し、CPUキャッシュ効率を最適化することで、1秒間に850万件の推薦を達成（GraphChiの約3倍速）しながら、強力なプライバシーと精度のトレードオフを維持する。

ABSTRACT

Differentially private collaborative filtering is a challenging task, both in terms of accuracy and speed. We present a simple algorithm that is provably differentially private, while offering good performance, using a novel connection of differential privacy to Bayesian posterior sampling via Stochastic Gradient Langevin Dynamics. Due to its simplicity the algorithm lends itself to efficient implementation. By careful systems design and by exploiting the power law behavior of the data to maximize CPU cache bandwidth we are able to generate 1024 dimensional models at a rate of 8.5 million recommendations per second on a single PC.

研究の動機と目的

• ユーザーのプライバシーを損なわず、推薦品質を損なわずに高速で微分プライベートな協調フィルタリングシステムを構築する課題に対処すること。
• SGLDによる事後分布サンプリングを用いて、効率的かつプライベートな推論を可能にするスケーラブルな行列分解フレームワークを開発すること。
• パワー則的データ分布とCPUキャッシュに配慮したメモリアクセスパターンを活用することで、システムのパフォーマンスを最適化すること。
• エンドツーエンドの微分プライベート性を維持しながら、ユーザーごとに個別にプライバシー予算を設定できるようにすること。
• 微分プライベートな行列分解が、非プライベートなベースラインと同等に高い効率性と正確性を達成できることを実証すること。

提案手法

• SGLDを用いてスケーリングされた事後分布からサンプリングすることで、ユーザー単位の微分プライベート性を保証する。
• メモリアクセスの遅延を最小限に抑えることでSGD更新を高速化する、新しいキャッシュ効率の高い行列分解フレームワークを設計する。
• SGLDにおけるノイズ回避最適化により、各更新でパラメータ空間全体にガウスノイズを追加するのを避けることで、正しさを保ちつつ速度を向上させる。
• 損失関数の感度を制限するために、トリミング／再重み付け手順を適用し、形式的な微分プライベート性の保証を可能にする。
• ユーザー固有のデータ感受性と寄与度に基づいて、個々のプライバシー予算を調整する、パーソナライズドプライバシーキャリブレーション機構を導入する。
• 公開されるのはアイテム特徴行列 $V$ のみであり、各ユーザーは自身のプライベートデータと $V$ を用いて局所的に推薦を再計算することで、エンドツーエンドの微分プライベート性を確保する。

実験結果

リサーチクエスチョン

• RQ1 SGLDに基づく事後分布サンプリングは、大規模な行列分解に効率的にスケーリング可能であり、微分プライベート性を維持できるか？
• RQ2 システムレベルの最適化は、データのパワー則的挙動をどのように活用して、微分プライベートな行列分解の高速化を実現できるか？
• RQ3 微分プライベートなレコメンデーションシステムは、非プライベートなベースラインと同等の速度と正確性を達成できるか？
• RQ4 パーソナライズドプライバシー予算が、実用性とシステム効率に与える影響は何か？
• RQ5 $V$ のみを公開することで、強力なプライバシーを維持し、局所的な推薦推論を可能にするのは可能か？

主な発見

• 提案手法は、1台のPCで最大850万件の推薦/秒のスループットを達成し、GraphChiを約3倍速く上回った。
• システムは、意味のあるプライバシー水準（$\epsilon \approx 1$）において、非プライベートシステムにほぼ匹敵する、望ましいプライバシーと精度のトレードオフを示した。
• パワー則的データ分布を活用することで、CPUキャッシュ帯域幅の利用率を最大化し、計算効率を顕著に向上させた。
• SGLDベースのアプローチにより、損失関数の感度に基づいて形式的な感度バウンドを導出し、ユーザー単位の$(\epsilon, \delta)$-微分プライベート性を保証した。
• パーソナライズドプライバシーキャリブレーション機構により、システム全体のパフォーマンスを劣化させることなく、個々のプライバシー予算に対する細かな制御が可能になった。
• $V$ のみを共有する局所的推薦アーキテクチャを実現し、ユーザー固有のデータの露出を最小限に抑え、プライバシー強化を達成した。