[論文レビュー] AdaCliP: Adaptive Clipping for Private SGD

Venkatadheeraj Pichapati, Ananda Theertha Suresh+3 more|arXiv (Cornell University)|Aug 20, 2019

Privacy-Preserving Technologies in Data参考文献 41被引用数 64

ひとこと要約

AdaCliP は、座標ごとに適応的クリッピングを用いて付加ノイズを最小化し、DP 制約下でモデルの精度を向上させる差分的にプライベートな SGD アルゴリズムです。

ABSTRACT

Privacy preserving machine learning algorithms are crucial for learning models over user data to protect sensitive information. Motivated by this, differentially private stochastic gradient descent (SGD) algorithms for training machine learning models have been proposed. At each step, these algorithms modify the gradients and add noise proportional to the sensitivity of the modified gradients. Under this framework, we propose AdaCliP, a theoretically motivated differentially private SGD algorithm that provably adds less noise compared to the previous methods, by using coordinate-wise adaptive clipping of the gradient. We empirically demonstrate that AdaCliP reduces the amount of added noise and produces models with better accuracy.

研究の動機と目的

• DP-SGD における原理的なクリッピング戦略の必要性を喚起し、勾配更新のノイズを削減する。
• プライバシー誘起ノイズを最小化するための適応的勾配変換とクリッピングの理論的に基づくフレームワークを開発する。
• MNIST や他のモデルにおける差分プライバシー制約下でモデルの精度を経験的に改善させる。

提案手法

• 一般的な勾配変換 g^t -> w^t = (g^t - a^t) / b^t を提案し、w^t の各座標をノルム1にクリップする。
• クリップ後の変換勾配にガウスノイズを加え、元のスケールに再スケールすることで、プライベート勾配 \\tilde{g}^t を得る。
• E||w^t||^2 (gamma) の界内で期待ノイズを最小化する最適な a^t と b^t を導出し、a^t_i = m^t_i および b^t_i = sqrt(s_i^t / gamma) * sqrt(sum_i s_i^t) となる。
• トレーニング中に a^t と b^t を適応させるため、ノイズ付き勾配からランニング平均 m^t と近似分散 s^t を更新する AdaCliP アルゴリズムを提示する。
• 固定学習率と DP 勾配を用いた AdaCliP に対する非凸目的関数の収束保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 全体的またはベクトルごとのクリッピングと比較して、座標ごとに適応的にクリッピングすることで DP-SGD に付加されるノイズを最小化できるか？
• RQ2 勾配ノルムの境界下で加えられるガウスノイズを最小化する最適な変換パラメータ a^t および b^t は何か？
• RQ3 同じ DP 予算で MNIST や関連モデルに対して、適応的クリッピングと変換は経験的精度を向上させるか？
• RQ4 非凸目的関数に対するノイズ、バイアス、収束の観点で、AdaCliP は既存の DP-SGD 手法とどのように比較されるか？

主な発見

• AdaCliP は座標ごとに適応的クリッピングを用いることで、従来の DP-SGD 手法よりノイズを小さく追加することを証明できる。
• 経験的には、同じプライバシ設定で MNIST および類似モデルに対して AdaCliP が従来手法より高い精度を達成する。
• 理論的結果は、最適な a^t および b^t の選択が標準的なホワイトニングとは異なり、付加ノイズの L2 ノルムを低減できることを示す。
• モーメンタムベースの最適化は、彼らの実験ではAdaCliPを用いた SGD を上回らなかった。たとえイテレーションごとのノイズが少なくても。
• 実験は、与えられた (epsilon, delta) のプライバシー予算でベースライン法より最大で 1.6% の精度向上を AdaCliP がもたらすことを示している。