[論文レビュー] Differentially Private Stochastic Gradient Descent for in-RDBMS Analytics.

Xi Wu, Arun Kumar+3 more|arXiv (Cornell University)|Jun 15, 2016

Privacy-Preserving Technologies in Data参考文献 19被引用数 12

ひとこと要約

本論文は、プライバシーを確保しつつ最小限のパフォーマンスオーバーヘッドで動作する、RDBMS内での分析に特化した、微分プライバシーを適用した確率的勾配降下（SGD）アルゴリズムを提案する。ノイズは固定回数の学習パス後に一度だけ追加される。Postgresにおける既存のプライベートSGD手法と比較して顕著に高いテスト精度を達成しており、シームレスな統合と効率性を実証した。

ABSTRACT

In-RDBMS data analysis has received considerable attention in the past decade and has been widely used in sensitive domains to extract patterns in data using machine learning. For these domains, there has also been growing concern about privacy, and differential privacy has emerged as the gold standard for private data analysis. However, while differentially private machine learning and in-RDBMS data analytics have been studied separately, little previous work has explored private learning in an in-RDBMS system. This work considers a specific algorithm --- stochastic gradient descent (SGD) for differentially private machine learning --- and explores how to integrate it into an RDBMS system. We find that previous solutions on differentially private SGD have characteristics that render them unattractive for an RDBMS implementation. To address this, we propose an algorithm that runs SGD for a constant number of passes and then adds noise to the resulting output. We provide a novel analysis of the privacy properties of this algorithm. We then integrate it, along with two existing versions of differentially private SGD, in the Postgres RDBMS. Experimental results demonstrate that our proposed approach can be easily integrated into an RDBMS, incurs virtually no overhead, and yields substantially better test accuracy than the other private SGD algorithm implementations.

研究の動機と目的

• プライバシーに配慮する分野において、微分プライバシーを適用した機械学習とRDBMS内でのデータ分析を統合する分野におけるギャップを埋める。
• RDBMS環境での実用的導入を妨げる、従来の微分プライバシーSGD手法の限界を特定する。
• 効率的で、RDBMSシステムへの統合が容易であり、強力なプライバシー保証を維持できる新しいプライベートSGDアルゴリズムを設計する。
• 実際のRDBMS（Postgres）において、プライバシー、精度、パフォーマンスオーバーヘッドの観点から、提案手法を既存のプライベートSGD実装と比較評価する。

提案手法

• 固定回数のデータ走査後に最終モデルパラメータにノイズを追加する、新たなプライベートSGDアルゴリズムを提案する。
• 提案アルゴリズムの微分プライバシー保証を形式的に確立するための新しいプライバシー解析を活用する。
• Postgres RDBMS内に、提案手法と2つの既存のプライベートSGDバージョンを実装し、直接的なパフォーマンス比較を可能にする。
• 標準的なRDBMSのクエリ処理および実行メカニズムを活用してトレーニングパイプラインをサポートし、下位層システムへの変更を最小限に抑える。
• 従来のプライベートSGDで見られる反復毎のノイズ追加を避けるため、学習後の一回のみノイズを注入する。
• 学習プロセスをRDBMSエンジン内に埋め込むことで、既存のSQLベースのデータワークフローとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを適用したSGDアルゴリズムを、RDBMS内でのデータベース内分析に効率的かつ効果的に統合できるか？
• RQ2 RDBMS環境下で、提案されたプライベートSGD手法は、既存のプライベートSGDアプローチと比較して、精度とパフォーマンスオーバーヘッドの点でどのように異なるか？
• RQ3 固定回数の学習パス後にノイズを追加するプライベートSGDのバリエーションが、どのようなプライバシー保証を有するか？
• RQ4 提案手法は、リレーショナルデータベース環境において、微分プライバシーを確保しつつも、高いモデル精度をどの程度維持できるか？

主な発見

• 提案手法はPostgres RDBMSに統合された際、ほぼパフォーマンスオーバーヘッドを発生させず、生産環境での実用的利用が可能である。
• 同じRDBMS環境下で、2つの既存のプライベートSGD実装と比較して、顕著に高いテスト精度を達成した。
• 新規のプライバシー解析により、提案アルゴリズムが強い理論的保証のもとで微分プライバシーを満たすことが確認された。
• 外部フレームワークの必要性や複雑なデータ移動を伴わずに、RDBMS内に直接プライベート機械学習を実装できる。
• RDBMS内にプライベート学習を統合することは実現可能で効率的であり、プライバシー保護型トレーニングがデータベースシステムにネイティブにサポート可能であることを示した。