[論文レビュー] On the Convergence of Deep Learning with Differential Privacy.

Zhiqi Bu, Hua Wang+2 more|arXiv (Cornell University)|Jun 15, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用数 7

ひとこと要約

本稿では、ニューラルタングェントカーネル（NTK）フレームワークを用いて、微分プライバシー（DP）ディープラーニングの収束解析を提示する。グローバルクリッピングと呼ばれる新しいクリッピング手法を導入し、DP-GDにおけるゼロ損失への単調収束を保証するとともに、プライバシーを維持する。DP最適化子に含まれるノイズが勾配フロー極限において収束を妨げないことを示し、理論的および実践的に、グローバルクリッピングがローカルクリッピングを上回ることを示す。特に、キャリブレートされた分類器の学習において顕著な優位性を示す。

ABSTRACT

In deep learning with differential privacy (DP), the neural network achieves the privacy usually at the cost of slower convergence (and thus lower performance) than its non-private counterpart. This work gives the first convergence analysis of the DP deep learning, through the lens of training dynamics and the neural tangent kernel (NTK). Our convergence theory successfully characterizes the effects of two key components in the DP training: the per-sample clipping (flat or layerwise) and the noise addition. Our analysis not only initiates a general principled framework to understand the DP deep learning with any network architecture and loss function, but also motivates a new clipping method -- the global clipping, that significantly improves the convergence while preserving the same privacy guarantee as the existing local clipping. In terms of theoretical results, we establish the precise connection between the per-sample clipping and NTK matrix. We show that in the gradient flow, i.e., with infinitesimal learning rate, the noise level of DP optimizers does not affect the convergence. We prove that DP gradient descent (GD) with global clipping guarantees the monotone convergence to zero loss, which can be violated by the existing DP-GD with local clipping. Notably, our analysis framework easily extends to other optimizers, e.g., DP-Adam. Empirically speaking, DP optimizers equipped with global clipping perform strongly on a wide range of classification and regression tasks. In particular, our global clipping is surprisingly effective at learning calibrated classifiers, in contrast to the existing DP classifiers which are oftentimes over-confident and unreliable. Implementation-wise, the new clipping can be realized by adding one line of code into the Opacus library.

研究の動機と目的

• 微分プライバシー（DP）ディープラーニングの収束行動を、ニューラルタングェントカーネル（NTK）フレームワークの下で理解すること。
• サンプルごとのクリッピングとノイズ追加が、DP学習における収束に与える影響を分析すること。
• 任意のネットワークアーキテクチャと損失関数に適用可能な、原理的かつ一般化可能な枠組みを構築すること。
• ゼロ損失への単調収束を保証する新しいクリッピング戦略「グローバルクリッピング」を提案すること。
• グローバルクリッピングが、既存のDP手法に比べてよりキャリブレートされた分類器を学習できることを実証的に検証すること。

提案手法

• 無限小の学習率における勾配フロー極限を用いて、DP学習のダイナミクスを分析し、クリッピングとノイズの影響を分離する。
• サンプルごとのクリッピングとNTK行列の間の明確な数学的関係を確立し、最適化中にカーネルがどのように変化するかを示す。
• すべてのサンプルおよびレイヤー全体にわたって勾配をグローバルにクリッピングするグローバルクリッピングを提案し、ローカル（サンプルごとまたはレイヤーごと）クリッピングの優れた代替手段であることを示す。
• グローバルクリッピングの下では、DP-GDがゼロ損失への単調収束を保証するが、これはローカルクリッピングでは保証されない性質であることを示す。
• 理論的枠組みをDP-Adamなどの他の最適化子へと拡張し、広範な適用可能性を示す。
• グローバルクリッピングを、Opacusライブラリに1行追加するのみで実装可能であり、実用的導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 サンプルごとのクリッピングは、NTKフレームワーク下でのDPディープラーニングの収束にどのように影響するか？
• RQ2 微分プライバシーのためのノイズ注入は、勾配フロー状態において収束を妨げるか？
• RQ3 DP-GDにおけるゼロ損失への単調収束を保証する新しいクリッピング戦略を設計できるか？
• RQ4 収束性およびモデルのキャリブレーションの観点から、グローバルクリッピングはローカルクリッピングと比べてどのように異なるか？
• RQ5 勾配フローからの理論的知見を、DP-Adamのような実用的最適化子へと拡張できるか？

主な発見

• 勾配フロー極限において、DP最適化子のノイズレベルは収束に影響しない。つまり、収束はノイズスケールに依存しない。
• グローバルクリッピングを用いたDP-GDは、ゼロ損失への単調収束を保証するが、これはローカルクリッピングを用いた既存のDP-GDでは保証されない性質である。
• グローバルクリッピングは、同じプライバシー保証を維持しながら、ローカルクリッピングよりも著しく高速な収束を実現する。
• 実証的に、グローバルクリッピングで訓練されたモデルは、分類および回帰タスクにおいて優れた性能を示し、特にキャリブレートされた分類器の学習において顕著な優位性を示す。
• 提案されたグローバルクリッピング手法は、Opacusライブラリに1行追加するだけで実装可能であり、広範な採用が可能である。
• NTKに基づく理論的枠組みは、任意のアーキテクチャと損失関数に適用可能な一般的かつ原理的なDP学習ダイナミクスの理解を提供する。