[論文レビュー] Privacy Analysis of Online Learning Algorithms via Contraction Coefficients.

Shahab Asoodeh, Mario Díaz+1 more|arXiv (Cornell University)|Dec 20, 2020

Privacy-Preserving Technologies in Data参考文献 90被引用数 6

ひとこと要約

本稿では、$f$-divergenceから導かれる収縮係数を用いて、オンライン学習アルゴリズムの微分プライバシーを情報理論的枠組みで分析する新規なフレームワークを提案する。ドブシュインの収縮係数を、近似的な微分プライバシーに相当する$E_\gamma$-divergenceへ一般化することで、プライバシー・パラメータを直接計算可能とし、勾配降下法に適用可能であり、1パスのバッチ学習アルゴリズムへも拡張可能である。

ABSTRACT

We propose an information-theoretic technique for analyzing privacy guarantees of online algorithms. Specifically, we demonstrate that differential privacy guarantees of iterative algorithms can be determined by a direct application of contraction coefficients derived from strong data processing inequalities for $f$-divergences. Our technique relies on generalizing the Dobrushin's contraction coefficient for total variation distance to an $f$-divergence known as $E_\gamma$-divergence. $E_\gamma$-divergence, in turn, is equivalent to approximate differential privacy. As an example, we apply our technique to derive the differential privacy parameters of gradient descent. Moreover, we also show that this framework can be tailored to batch learning algorithms that can be implemented with one pass over the training dataset.

研究の動機と目的

• 反復的オンライン学習アルゴリズムにおけるプライバシーの定量的評価を可能にする一般的な情報理論的手法の開発。
• $f$-divergenceの収縮係数と微分プライバシー保証との間の関係の確立。
• ドブシュインの収縮係数を、近的微分プライバシーに対応する$E_\gamma$-divergenceへ一般化すること。
• 勾配降下法のオンライン設定における具体的なプライバシー・パラメータを導出するためのフレームワークの適用。
• 1回のパスでデータを処理するバッチ学習アルゴリズムへもこの手法を拡張すること。

提案手法

• $f$-divergenceにおける強いデータ処理不等式を用いて、反復的アルゴリズムにおけるプライバシー損失を上限付ける。
• ドブシュインの収縮係数を、近的微分プライバシーに関連する特定の$f$-divergenceである$E_\gamma$-divergenceへ一般化する。
• 収縮係数は、入力分布間の発散の減少を測定することで、反復間におけるプライバシーの保持度合いを定量化する。
• 学習アルゴリズムの更新ルールの収縮係数を分析することにより、プライバシー・パラメータを計算するフレームワークを構築する。
• 更新メカニズムをマルコフ遷移としてモデル化することで、オンラインおよび1パスバッチ学習アルゴリズムの両方に適用可能である。
• 複雑な合成定理を必要とせず、$(\varepsilon, \delta)$-微分プライバシー・パラメータを直接導出可能である。

実験結果

リサーチクエスチョン

• RQ1 どのようにして$f$-divergenceの収縮係数をオンライン学習アルゴリズムのプライバシー評価に活用できるか？
• RQ2 $E_\gamma$-divergenceと近的微分プライバシーとの関係は何か？
• RQ3 一般化された収縮係数フレームワークを勾長降下法に適用し、タイトなプライバシー境界を導出できるか？
• RQ4 この手法を1回のパスで処理されるバッチ学習アルゴリズムへどの程度まで拡張できるか？
• RQ5 従来の合成に基づくプライバシー解析手法と比較して、本フレームワークのタイトさと一般性はいかがなものか？

主な発見

• $E_\gamma$-divergenceが近的微分プライバシーと等価であることが示され、情報理論的測度とプライバシー保証との直接的なリンクを可能にする。
• $E_\gamma$-divergenceの収縮係数は、反復的オンライン学習アルゴリズムにおけるプライバシー損失に対してタイトな上限を提供する。
• フレームワークは、収縮係数を用いて勾長降下法の$(\varepsilon, \delta)$-微分プライバシー・パラメータを成功裏に導出できる。
• 1回のパスで訓練データを処理可能なバッチ学習アルゴリズムへも一般化可能である。
• 逐次的合成定理の必要性を回避し、より直接的かつおそらくタイトなプライバシー解析を可能にする。
• 強いデータ処理不等式の使用により、非漸近的かつ分布に依存しない学習アルゴリズムのプライバシー解析が可能になる。