[論文レビュー] Concentrated Differentially Private Gradient Descent with Adaptive per-Iteration Privacy Budget

Jae Wook Lee, Daniel Kifer|arXiv (Cornell University)|Aug 28, 2018

Privacy-Preserving Technologies in Data参考文献 20被引用数 9

ひとこと要約

本稿では、ゼロ濃縮微分プライバシー（zCDP）下でのプライバシー保護勾配降下法において、勾配の大きさに応じてノイズを動的に調整することで最適化精度を向上させる、適応的プライバシー予算割り当て戦略を提案する。線分探索機構を用いて勾配の有効性を評価し、勾配が小さい後期の反復でノイズを低減することで、固定予算手法を上回り、ロジスティック回帰およびSVMタスクで最先端の性能を達成する。

ABSTRACT

Iterative algorithms, like gradient descent, are common tools for solving a variety of problems, such as model fitting. For this reason, there is interest in creating differentially private versions of them. However, their conversion to differentially private algorithms is often naive. For instance, a fixed number of iterations are chosen, the privacy budget is split evenly among them, and at each iteration, parameters are updated with a noisy gradient. In this paper, we show that gradient-based algorithms can be improved by a more careful allocation of privacy budget per iteration. Intuitively, at the beginning of the optimization, gradients are expected to be large, so that they do not need to be measured as accurately. However, as the parameters approach their optimal values, the gradients decrease and hence need to be measured more accurately. We add a basic line-search capability that helps the algorithm decide when more accurate gradient measurements are necessary. Our gradient descent algorithm works with the recently introduced zCDP version of differential privacy. It outperforms prior algorithms for model fitting and is competitive with the state-of-the-art for $(ε,δ)$-differential privacy, a strictly weaker definition than zCDP.

研究の動機と目的

• 反復的プライバシー保護最適化における固定プライバシー予算割り当ての非効率性を解消すること。
• 勾配の有効性に基づいて反復ごとにノイズレベルを適応的に変更することで、プライバシー保護型経験的リスク最小化におけるモデル精度を向上させること。
• しばしば最適でない性能をもたらす、事前に反復回数を指定する必要を排除すること。
• ノイズ付き勾配が勾配降下に有用であるかどうかを知的に判断する手法を構築し、ランダムウォーク的挙動を回避すること。
• zCDP下での適応的予算配分が、最先端の$(\epsilon,\delta)$-DP手法と同等またはそれを上回る性能を達成できることを示すこと。

提案手法

• プライバシー枠組みとして、従来の$(\epsilon,\delta)$-DPよりもタイトなプライバシー会計を可能にするゼロ濃縮微分プライバシー（zCDP）を採用する。
• 勾配ノルム$\|\nabla f(\mathbf{w}_t)\|$が小さいときには$\epsilon_t$を大きくすることで、後期の反復でノイズを低減する、適応的プライバシー予算割り当てを導入する。
• 線分探索機構を用いて、ノイズ付き勾配更新が目的関数を低下させる可能性があるかどうかを評価する。
• 真の勾配のノルムに応じて反復ごとにノイズ分散を動的に調整し、勾配が大きいときはより多くのノイズを追加し、小さいときはより少ないノイズを追加する。
• zCDP下での反復間のプライバシー損失を追跡するためにモーメント会計師技術を適用し、従来の手法よりもタイトな境界を達成する。
• 勾配ノルムとノイズ付き更新の有効性に基づく停止基準を採用し、役立たずの勾配を持つ反復を回避する。

実験結果

リサーチクエスチョン

• RQ1 反復ごとのプライバシー予算の適応的割り当ては、プライバシー保護勾配降下法の有効性を向上させ得るか？
• RQ2 勾配が小さい後期の反復でノイズを低減することで、より良いモデル収束性と精度が得られるか？
• RQ3 線分探索機構は、ノイズ付き勾配が勾配降下に有用かどうかを効果的に判断でき、ランダムウォーク的挙動を回避できるか？
• RQ4 zCDP下での適応的予算配分は、固定予算手法および最先端の$(\epsilon,\delta)$-DPアルゴリズムと比較して、モデル精度および目的関数値の観点で優れているか？
• RQ5 提案手法は、プライベート最適化における事前の反復回数の指定を不要にすることができるか？

主な発見

• 提案手法DP-AGDは、DP-SGD や SGD-MA といった固定予算手法を常に上回り、特に低プライバシー予算（$\epsilon \leq 0.1$）において顕著な優位性を示す。
• UCI AdultおよびKDDCup99データセットにおいて、$\epsilon = 0.05$のとき、DP-AGDは他の手法よりも高い分類精度を達成しており、より知的なノイズ割り当てによるものである。
• SVMタスクでは、$\epsilon$が増加するにつれて目的関数値に安定した改善が見られ、一方BANKデータセットでは$\epsilon$が高くなるとわずかに精度が低下する傾向を示すが、これはデータ固有の特性による可能性が高い。
• 勾配の有効性をチェックすることで不要な更新を回避し、性能を低下させるノイズ主導の更新のリスクを低減する。
• より強いzCDP定義下にあっても、DP-AGDは最先端の$(\epsilon,\delta)$-DP手法と同等の結果を達成する。
• zCDP下でのモーメント会計師はタイトなプライバシー境界を提供するが、非常に低い$\epsilon$では1反復あたりのコストが高くなる（約0.5756）ため実用的でなくなる。これは、適応的予算配分の利点を強調する。