[論文レビュー] Practical Privacy Filters and Odometers with Rényi Differential Privacy and Applications to Differentially Private Deep Learning

Mathias Lécuyer|arXiv (Cornell University)|Mar 2, 2021

Privacy-Preserving Technologies in Data参考文献 8被引用数 8

ひとこと要約

本稿では、微分プライバシー（DP）における適応的プライバシー予算割り当てを可能にする、実用的なプライバシー・フィルタおよびオドメーターを、Rényi微分プライバシー（RDP）を用いて提案する。先行研究に比べて定数を小さく抑え、よりきめの細かいプライバシー会計を実現することで、リアルタイムでのノイズとバッチサイズの調整、および早期停止が可能となり、固定プライバシー予算下でCIFAR-10およびImageNetで最大75%のプライバシー損失削減と、最大2.5%の高い精度を達成する。

ABSTRACT

Differential Privacy (DP) is the leading approach to privacy preserving deep learning. As such, there are multiple efforts to provide drop-in integration of DP into popular frameworks. These efforts, which add noise to each gradient computation to make it DP, rely on composition theorems to bound the total privacy loss incurred over this sequence of DP computations. However, existing composition theorems present a tension between efficiency and flexibility. Most theorems require all computations in the sequence to have a predefined DP parameter, called the privacy budget. This prevents the design of training algorithms that adapt the privacy budget on the fly, or that terminate early to reduce the total privacy loss. Alternatively, the few existing composition results for adaptive privacy budgets provide complex bounds on the privacy loss, with constants too large to be practical. In this paper, we study DP composition under adaptive privacy budgets through the lens of Rényi Differential Privacy, proving a simpler composition theorem with smaller constants, making it practical enough to use in algorithm design. We demonstrate two applications of this theorem for DP deep learning: adapting the noise or batch size online to improve a model's accuracy within a fixed total privacy loss, and stopping early when fine-tuning a model to reduce total privacy loss.

研究の動機と目的

• 既存の合成定理における微分プライバシーの実用的制限、特に固定プライバシー予算を必要とすることにより、適応的トレーニング戦略が阻害されることを解決すること。
• 強いプライバシー保証を維持しながら、トレーニング中にノイズとバッチサイズを動的に調整できる、効率的なプライバシー・フィルタおよびオドメーターの開発。
• プライバシーを損なわずに、ファインチューニングのシナリオで早期停止を可能にし、合計プライバシー損失を低減すること。
• 実世界の実験を通じて、RDPベースの合成が適応的DPにおける深層学習に実用的であることを示すこと。
• DPの深層学習フレームワークにおける理論的プライバシー合成と実装のギャップを埋めること。

提案手法

• Rényi微分プライバシー（RDP）を活用し、合成定理における定数を低減することで、プライバシー会計を簡素化し、適応的設定での実用的利用を可能にする。
• 固定された合計プライバシー損失の範囲内で、追加コストなしに適応的予算割り当てを可能にするプライバシー・フィルタを設計。
• トレーニング中の累積プライバシー損失の実行時上界を提供するプライバシー・オドメーターを構築し、早期停止をサポート。
• ネストされたフィルタ設計と指数関数的に成長するフィルタを用い、先行研究の最適合成レートを再現するとともに、効率性を向上。
• DP-SGDにおける勾配計算にRDP合成を適用し、トレーニング中のプライバシー損失を正確かつ効率的に追跡可能にする。
• モデルの性能に基づいて時間経過とともにノイズ標準偏差を低減する適応的ポリシーを採用し、固定プライバシー予算下での精度向上を実現。

実験結果

リサーチクエスチョン

• RQ1 適応的プライバシー予算割り当てに追加コストなしに、RDPに基づくプライバシー・フィルタを構築できるか？トレーニング中に動的予算割り当てが可能か？
• RQ2 適応的予算下で、タイトな実行時バウンダリーを提供し、早期停止をサポートする実用的なプライバシー・オドメーターを設計できるか？
• RQ3 固定プライバシー予算下で、適応的ノイズスケーリングと早期停止が、DPの深層学習におけるモデル精度をどの程度向上できるか？
• RQ4 RDPベースの合成は、既存の$(\epsilon,\delta)$-DP合成定理に比べ、実用的な深層学習シナリオでよりタイトなプライバシー会計を達成できるか？
• RQ5 ファインチューニングにおいて、モデル性能を損なわずに、適応的予算配分が合計プライバシー損失をどの程度低減できるか？

主な発見

• 提案されたプライバシー・フィルタにより、固定プライバシー予算$\epsilon = 5.76$下でCIFAR-10で2.5%以上の高い精度を達成し、追加のプライバシーコストなしにノイズとバッチサイズの適応的調整が可能となった。
• プライバシー・オドメーターを用いることで、ファインチューニング中に20エポック目で停止した際、合計プライバシー損失を$\epsilon = 5.76$から$\epsilon = 4.7$まで削減した。
• ノイズを$\sigma = 2$から$\sigma = 1$に適応的に低減するポリシーを採用したところ、わずか8エポックで80%の精度に到達し、非適応的トレーニングに比べてプライバシー損失が75%削減された（$\epsilon = 1.45$）。
• 適応的ポリシーは、最終層ファインチューニングでも性能を維持し、さまざまなトレーニング環境への広範な適用可能性を示した。
• RDPベースのオドメーター構築により、最適な合成レートを達成し、大予算の深層学習環境において効率的でリアルタイムのプライバシー会計を実現した。
• 結果として、RDPが実用的で効率的かつ柔軟なプライバシー会計を可能にし、オンラインアーキテクチャ探索やDP制約下での動的ハイパーパramータチューニングといった、新たなアルゴリズム設計の可能性を開いた。