[論文レビュー] No Free Lunch in "Privacy for Free: How does Dataset Condensation Help Privacy"

Nicholas Carlini, Vitaly Feldman+1 more|arXiv (Cornell University)|Sep 29, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿は、[DZL22]におけるデータセット縮約（DC）が機械学習モデルのプライバシーを顕著に向上させるとの主張に反論する。実験的評価が誤って行われており、偏ったサブセット上で攻撃の成功度を測定していたため、92.8%の攻撃優位性が誤って報告されたが、正しくは1.6%である。著者らは、DCがランダムサブサンプリングと比べて統計的に有意なプライバシー向上を示さないことを示し、理論的分析は現実的でない仮定に依存しており、差分プライバシーを自明に示唆するため、プライバシー主張は無効である。

ABSTRACT

New methods designed to preserve data privacy require careful scrutiny. Failure to preserve privacy is hard to detect, and yet can lead to catastrophic results when a system implementing a ``privacy-preserving'' method is attacked. A recent work selected for an Outstanding Paper Award at ICML 2022 (Dong et al., 2022) claims that dataset condensation (DC) significantly improves data privacy when training machine learning models. This claim is supported by theoretical analysis of a specific dataset condensation technique and an empirical evaluation of resistance to some existing membership inference attacks. In this note we examine the claims in the work of Dong et al. (2022) and describe major flaws in the empirical evaluation of the method and its theoretical analysis. These flaws imply that their work does not provide statistically significant evidence that DC improves the privacy of training ML models over a naive baseline. Moreover, previously published results show that DP-SGD, the standard approach to privacy preserving ML, simultaneously gives better accuracy and achieves a (provably) lower membership attack success rate.

研究の動機と目的

• 「[DZL22]におけるデータセット縮約（DC）がモデルのプライバシーを向上させる」という実験的および理論的主張を批判的に評価すること。
• 特に、メンバーインファレンス攻撃（MIA）の成功度がどのように測定されたかに注目し、[DZL22]で用いられたベースライン比較における方法論的欠陥を暴露すること。
• DCが単純なベースラインに対して報告されたプライバシー向上が、誤った評価設定のため統計的に有意ではないことを示すこと。
• [DZL22]の理論的プライバシー分析に疑問を呈し、それが現実的でない仮定に依存しており、差分プライバシーを自明に示唆するため、分析が情報を持たないことを示すこと。
• DP-SGDがプライバシーと性能のトレードオフにおいてDCを上回ることを確立すること。

提案手法

• 正しくは、全データセット U に対して攻撃成功度を測定するプロトコルに従い、偏ったサブセット S ∪ S’ ではなく、ベースラインスキームにおけるメンバーインファレンス攻撃（MIA）を再評価する。
• 実際の学習データの割合に一致する1%のメンバーシップベースレートを保証することで、ベースラインの攻撃優位性を92.8%から1.6%に是正する。
• 悪意ある最悪状況を想定：1つの例が異なる2つのデータセット D と D’ でモデルを学習し、攻撃者がそれらを区別できるかをテストする。
• 検出能力を評価するために、ランダム初期化と標準的なオーグメンテーションを用いた分布マッチング（DM）技術を適用する。
• 特に仮定4.8に注目し、モデル出力を指数的メカニズムとしてモデル化するという仮定を検討することで、[DZL22]の理論的プライバシー主張を分析する。
• 初期化時にランダムサブセットまたは中心化データが用いられる場合、高次元において変換が恒等写像に還元されることを示し、意味のある一般化やプライバシー向上は生じない。

実験結果

リサーチクエスチョン

• RQ1 データセット縮約（DC）は、ランダムサブサンプリングベースラインに対して統計的に有意なプライバシー優位性を提供するか？
• RQ2 [DZL22]におけるベースラインの実験的評価は、メンバーインファレンス攻撃の成功度を正しく設定しているか？
• RQ3 DCが適用された場合、1つの例が異なる2つのデータセットで学習されたモデルを区別できるメンバーインファレンス攻撃者が存在するか？
• RQ4 [DZL22]の理論的プライバシー保証は、特に分布マッチング（DM）手法に関して現実的な仮定のもとで成立するか？
• RQ5 プライバシーと性能の観点から、DCはDP-SGDといった確立されたプライバシー保護手法と比べてどうか？

主な発見

• [DZL22]で報告された92.8%のベースライン攻撃優位性は誤りである。正しくは1.6%であり、これはS ∪ S’ という50%のメンバーシップベースレートを持つ偏ったサブセットを用いた不正な評価設定に起因する。
• DMの実際の攻撃優位性（1.06 ± 1.20%）は是正されたベースライン（1.6%）と統計的に区別できないため、DCがプライバシーを向上させるとの主張は無効である。
• 最悪状況の設定において、攻撃者は1つの例が異なるデータセットで学習されたモデルを100%の正確度で区別できることを示し、DMがメンバーシップを隠していないことを証明する。
• [DZL22]の理論的分析は仮定4.8に依存しており、モデル出力を指数的メカニズムとしてモデル化するが、これは差分プライバシーを自明に示唆するため、分析は情報を持たない。
• 理論的モデルにおける変換は、ランダムサブセットまたは中心化データで初期化された場合、高次元において恒等写像に還元される。これは、意味のある一般化やプライバシー向上が生じないことを意味する。
• DP-SGDはDCよりも高い精度と、差分プライバシーとして保証される低いメンバーインファレンス攻撃成功確率を達成しており、プライバシー保護機械学習の優れた代替手段である。