[論文レビュー] Privacy Auditing with One (1) Training Run

Thomas Steinke, Milad Nasr+1 more|arXiv (Cornell University)|May 15, 2023

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

1つのトレーニング実行から m 個の監査例を反転させて含有を推測することで DP パラメータの下限を導くプライバシー監査スキームを提案。DP-SGD と WideResNet を CIFAR-10 で検証し、ほぼ締め付けられた境界を実証。

ABSTRACT

We propose a scheme for auditing differentially private machine learning systems with a single training run. This exploits the parallelism of being able to add or remove multiple training examples independently. We analyze this using the connection between differential privacy and statistical generalization, which avoids the cost of group privacy. Our auditing scheme requires minimal assumptions about the algorithm and can be applied in the black-box or white-box setting.

研究の動機と目的

• 形式的な DP 証明の補完としての実用的なプライバシー監査の動機づけ。
• データ点の独立した包含/除外を活用する単一実行監査フレームワークの開発。
• グループプライバシーに頼らず、一般化と DP を結びつけてほぼ厳密な監査境界を得る。
• 実際の DP-SGD トレーニングで監査フレームワークを検証し、DP 保証の厳密さを評価。

提案手法

• 監査手順として m 個の監査用例（カナリア）を選択し、独立コインで含有をランダム化する。
• ランダムに選択されたデータセットで学習アルゴリズムを実行し、各カナリアのスコアを計算する。
• スコアを後処理して包含/除外の推測を行い、正解推測数 W の境界を求める。
• DP 保証を用いて正解の推測分布を Binomial モデルで境界づけし、ε の下限を導出する。
• DP と一般化を結びつける理論的分析を発展させ、1つの実行内の m 個の独立データ点を実質的に m 回の独立した実行と同等と見なす正当性を示す。
• 観測された推測精度が ε の下限を信頼度とともに導くことを示す主要結果 Theorem 5.2 を含む形式定理を提供。

Figure 1: Theorem 5.2 ’s p-value as the number of correct guesses changes for fixed $\varepsilon=\log 3$ (i.e., ideally 75% of guesses correct). The total number of examples and guesses is 100.

実験結果

リサーチクエスチョン

• RQ1 プライバシー監査は複数回の実行ではなく、単一のトレーニング実行から実行可能か。
• RQ2 複数データ点の独立したランダム化をどのように活用して、グループプライバシーに頼らず DP パラメータを境界づけできるか。
• RQ3 監査の文脈における DP 保証と一般化の関係はどうなるか。
• RQ4 実務的に DP-SGD に適用した場合、監査境界はどれくらい厳密か。

主な発見

• 単一のトレーニング実行を用いた監査は、カナリアの正解推測の割合を分析することで ε の実証的下限を得る。
• 手法は ε ≥ 1.8 の実証的下限を達成し、ホワイトボックス設定での理論上の上限は ε ≤ 4。
• カナリアのモデル精度への影響は小さく（5%未満）、単一のトレーニング実行からの監査を可能にする。
• 正解推測の Binomial モデルは純粋 DP 条件下で厳密であり、DP 制約下の最悪ケース監査境界を確立する。
• 監査フレームワークはホワイトボックスとブラックボックスの双方で適用可能で、DP による後処理不変性を活用する。

Figure 2: Lower bound on the privacy parameter $\varepsilon$ given by Theorem 5.2 with 95% confidence as the number of correct guesses changes. The total number of examples and guesses is 100. For comparison, we plot the ideal $\varepsilon$ that gives $100\cdot\frac{e^{\varepsilon}}{e^{\varepsilon}+