[論文レビュー] Debugging Differential Privacy: A Case Study for Privacy Auditing

Florian Tramèr, Andreas Terzis+4 more|arXiv (Cornell University)|Feb 24, 2022

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

この論文は、プライバシー監査を用いることで、微分プライバシー機械学習システムの実装バグを実証的に検出可能であることを示している。具体的には、プライバシー・パラメータ ε の下限を測定することで、実装上の誤りを特定している。事例研究として、バックプロパゲーションクリッピングのオープンソース実装を監査した結果、99.99999999%の信頼水準で、実際の ε が 2.79 を超えていることが判明した。これは、提示された 0.21 よりも 10 倍以上も高い値であり、バッチサイズに関連する勾配感度計算の重大な誤りが原因である。

ABSTRACT

Differential Privacy can provide provable privacy guarantees for training data in machine learning. However, the presence of proofs does not preclude the presence of errors. Inspired by recent advances in auditing which have been used for estimating lower bounds on differentially private algorithms, here we show that auditing can also be used to find flaws in (purportedly) differentially private schemes. In this case study, we audit a recent open source implementation of a differentially private deep learning algorithm and find, with 99.99999999% confidence, that the implementation does not satisfy the claimed differential privacy guarantee.

研究の動機と目的

• 形式的証明が正しく見える場合でも、プライバシー監査が微分プライバシー機械学習システムにおける実装上の欠陥を検出可能であることを示すこと。
• バックプロパゲーションクリッピングアルゴリズムに存在する、提示された微分プライバシー保証を損なう具体的な実装誤りを特定・診断すること。
• DP機械学習開発におけるプライバシー監査を日常的ツールとして採用するよう提言すること。
• 今後の実装で同様のバグを検出・防止するための実用的アドバイスを提供すること。
• 理論的貢献と併せてコードを公開することで、再現可能性と監査可能性を高めることの重要性を強調すること。

提案手法

• MNIST に1つの画像を追加した2つのデータセット（差異は1例）を用いて、100,000 個のモデルをトレーニングすることで、メンバーシップ推定攻撃を実行する。
• 攻撃のTPR/FPR比を用いて、Clopper-Pearson信頼区間を用いてプライバシー・パラメータ ε の下限を実証的に推定する。
• TPR/FPR比を最大化するため、しきい値 τ を系統的にスイープし、最適な識別境界を同定する。
• 実装を分析し、勾配クリッピングとノイズ補正の観点から、プライバシー漏洩の根本的要因を特定する。
• 三角不等式に基づく sanity check を実施：バッチ勾配のノルムは、|B| × 予想される感度を超えることはない。
• 理論的感度（例ごとの勾配に基づく）と、実装で誤って計算された感度（|B| を2回除算している）を比較する。

実験結果

リサーチクエスチョン

• RQ1 形式的証明が正しくても、プライバシー監査は微分プライバシー機械学習システムにおける実装バグを検出可能か？
• RQ2 バックプロパゲーションクリッピングにおける、提示された微分プライバシー保証から顕著に逸脱する原因となる具体的な実装誤りは何か？
• RQ3 バッチサイズは、微分プライバシー学習における勾配感度にどのように影響するのか？また、実装で一般的にどこで誤りが生じるか？
• RQ4 開発ライフサイクルの初期段階でこのようなバグを検出するための実用的チェックは何か？
• RQ5 オープンソースコードの可用性が、有効なプライバシー監査と検証を可能にする程度はどの程度か？

主な発見

• 監査の結果、99.99999999%の信頼水準で、実際のプライバシー・パラメータ ε が 2.79 を超えることが判明した。これは、提示された（0.21, 10⁻⁵）の保証と比べて著しく高い。
• 実装では、バッチサイズ |B| によって勾配感度を誤って 1/|B| で縮小しており、これによりノイズの追加が不十分である。
• 誤りの原因は、例ごとの勾配を |B| で割ったものをクリッピングしている一方で、感度計算で誤ってもう一度 |B| で除算していることにある。
• 三角不等式に基づく単純な sanity check は、元の実装では失敗するが、感度を C₁·C₂ に修正して C₁·C₂/|B| ではなくした場合、正常に通過する。
• このバグは、過去に他のDP実装でも観察された既知の誤りクラスに属し、体系的な検証の必要性を浮き彫りにしている。
• バックプロパゲーションクリッピングの著者らは、この欠陥を認識し、理論的保証に一致させるためにノイズを |B| 倍する修正を実施する予定である。