[論文レビュー] A General Framework for Auditing Differentially Private Machine Learning

Fred Lu, Joseph Muñoz+6 more|arXiv (Cornell University)|Oct 16, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

この論文では、機械学習モデルの微分プライバシー（DP）保証を実証的に監査するための一般枠組みであるML-Auditを紹介する。影響に基づくデータ汚染攻撃と、多様なモデル across でのプライバシー損失推定を改善する統計的推定手法を組み合わせることで、従来の手法に比べて数個のオーダーも高い監査パワーを達成し、ロジスティック回帰、ナイーブベイズ、ランダムフォレストのDP実装における実用的プライバシー漏洩および実装上の欠陥を検出する。

ABSTRACT

We present a framework to statistically audit the privacy guarantee conferred by a differentially private machine learner in practice. While previous works have taken steps toward evaluating privacy loss through poisoning attacks or membership inference, they have been tailored to specific models or have demonstrated low statistical power. Our work develops a general methodology to empirically evaluate the privacy of differentially private machine learning implementations, combining improved privacy search and verification methods with a toolkit of influence-based poisoning attacks. We demonstrate significantly improved auditing power over previous approaches on a variety of models including logistic regression, Naive Bayes, and random forest. Our method can be used to detect privacy violations due to implementation errors or misuse. When violations are not present, it can aid in understanding the amount of information that can be leaked from a given dataset, algorithm, and privacy specification.

研究の動機と目的

• 微分プライバシー機械学習モデルにおける現実世界のプライバシー漏洩を評価するための実用的ツールの不足に対処すること。
• ニューラルネットワークのような特定アーキテクチャに限定されない、多様な機械学習モデルに適用可能な汎用監査枠組みを開発すること。
• 再訓練コストの高さや弱い攻撃戦略といった従来手法の制限を克服することで、プライバシー監査の統計的パワーを向上させること。
• DP MLシステムにおける実装エラーまたは誤設定によって生じる実際のプライバシー違反を検出すること。
• 実務家が真のプライバシーリスクを信頼できる方法で推定し、DPパラメータεとδのより良い選択を可能にするための手法を提供すること。

提案手法

• 与えられたモデルに対してプライバシー損失を最大にするように、影響に基づくデータ汚染攻撃を設計し、敵対的隣接データセットDとD′を生成すること。
• BichselらおよびJagielskiらの統計フレームワークを拡張し、一般モデル要約τの上での尤度をモデル化することで、より小さな標本サイズでεを推定すること。
• 摂動に対して最も感受性が高い要約統計量τ（例：クラス事前確率、平均、分散）を標的とすることで攻撃を最適化すること。
• モンテカルロサンプルを用いてモデル出力を推定し、プライバシー損失を推定する。これには、より良い境界と分散低減技術を適用する。
• 実際の実装（例：diffprivlibのナイーブベイズとDPランダムフォレスト）にフレームワークを適用し、設定ミスや露出の欠陥を検出すること。
• 攻撃と推定の両コンponentを統合し、任意の機械学習モデルとDPメカニズムをサポートする一元化されたパイプラインを構築すること。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークのような特殊なケースに限定されない、多様な機械学習モデルの微分プライバシーを一般用途の枠組みで効果的に監査できるか？
• RQ2 データ汚染攻撃戦略の選択が、プライバシー監査の統計的パワーにどのように影響するか？
• RQ3 DP MLライブラリにおける実装エラー（例：内部統計の露出）が、理論的プライバシー保証をどの程度損なうか？
• RQ4 データセットの分布が実際のプライバシー漏洩に与える影響は何か？ そして、その影響を定量的に測定できるか？
• RQ5 理論的DP定義（例：1行の追加 vs. 変更）と実際の実装との間に乖離があるかどうか、このフレームワークは検出できるか？

主な発見

• ML-Auditフレームワークは、従来手法に比べて数個のオーダーも高い監査パワーを達成し、プライバシー違反の検出が著しく向上した。
• 非球形データセットでは、ClipBKDのような標準的な摂動手法に比べ、影響に基づく攻撃がモデル感受性とよりよく整合するため、優れた性能を示した。
• フレームワークは、diffprivlibのナイーブベイズ実装に深刻なプライバシー漏洩を検出した。具体的には、露出されたクラスカウントにより訓練データが完全に再構築可能であり、すべてのプライバシー保証が無効化されていた。
• DPランダムフォレストでは、実装が意図したよりも厳しい隣接定義を使用しており、理論的境界の2倍のプライバシー損失が生じていたことが同定された。
• FMNISTおよびCIFAR10において、シャロウアドバルス攻撃は一部のケースでClipBKDを上回った。また、追加のτ情報を持つ変更版ClipBKDは中程度の改善を示した。
• フレームワークは、実際のプライバシー漏洩が理論的境界以下であることが多いが、実装上の欠陥がアルゴリズムが数学的に正しくても違反を引き起こす可能性があることを示した。