[論文レビュー] ML Privacy Meter: Aiding Regulatory Compliance by Quantifying the Privacy Risks of Machine Learning

Sasi Kumar Murakonda, Reza Shokri|arXiv (Cornell University)|Jul 18, 2020

Privacy-Preserving Technologies in Data参考文献 7被引用数 38

ひとこと要約

ML Privacy Meterは、MLモデルを用いた会員推論攻撃を通じて訓練データへのプライバシーリスクを定量化し、DPIAおよび規制遵守を支援します。

ABSTRACT

When building machine learning models using sensitive data, organizations should ensure that the data processed in such systems is adequately protected. For projects involving machine learning on personal data, Article 35 of the GDPR mandates it to perform a Data Protection Impact Assessment (DPIA). In addition to the threats of illegitimate access to data through security breaches, machine learning models pose an additional privacy risk to the data by indirectly revealing about it through the model predictions and parameters. Guidances released by the Information Commissioner's Office (UK) and the National Institute of Standards and Technology (US) emphasize on the threat to data from models and recommend organizations to account for and estimate these risks to comply with data protection regulations. Hence, there is an immediate need for a tool that can quantify the privacy risk to data from models. In this paper, we focus on this indirect leakage about training data from machine learning models. We present ML Privacy Meter, a tool that can quantify the privacy risk to data from models through state of the art membership inference attack techniques. We discuss how this tool can help practitioners in compliance with data protection regulations, when deploying machine learning models.

研究の動機と目的

• 従来のセキュリティ脅威を超えるMLモデルからのプライバシーリスク評価の必要性を動機づける。
• モデルの予測およびパラメータを通じた間接的なデータ漏洩を測定する定量的ツールを提案する。
• リスク評価と緩和決定に情報を提供することでツールが規制遵守をどのように支援するかを示す。

提案手法

• ブラックボックス、ホワイトボックスなど異なるアクセス仮定の下でプライバシーリスクを評価するために会員推論攻撃手法を実装する。
• 会員と非会員の攻撃出力分布を比較して訓練データレコードのリスクスコアを算出する。
• ROC曲線を用いて攻撃者の成功を定量化し、総合的なプライバシーリスク指標（曲線下面積）を導出する。
• レコード間およびアクセスレベル（予測のみ vs 予測＋パラメータ）でリスクを比較する詳細なプライバシーレポートを生成する。
• 緩和戦略の指針を提供し、実務で差分プライバシーのパラメータ（epsilon）を評価できるようにする。

実験結果

リサーチクエスチョン

• RQ1 会員推論攻撃を用いてMLモデルから訓練データへのプライバシーリスクをどのように定量化できるか？
• RQ2 アクセスレベル（ブラックボックス vs ホワイトボックス）は推定されるプライバシーリスクにどのような影響を与えるか？
• RQ3 このツールは有用性とプライバシーのバランスを取るための緩和戦略およびプライバシーパラメータの選択に役立つか？

主な発見

• このツールは会員推論攻撃の成功を通じてプライバシーリスクを定量化し、ROC曲線を用いて真陽性と偽陽性のトレードオフを表現する。
• すべての訓練レコードに対してプライバシーリスクスコアを提供し、クラス間の比較を可能にする。
• 異なるアクセスモード（ブラックボックス vs ホワイトボックス）でのプライバシーリスク評価を可能にし、集計レベルおよび個別レコードレベルのレポートをサポートする。
• ML Privacy Meterは実務的な緩和行動を導き、リスクの高いデータレコードを特定することでDPIAを通知するのに役立つ。
• このフレームワークは差分プライバシー保証の探索と各epsilonでリスクを測定することによりepsilon値を選択することをサポートします。