[論文レビュー] The Privacy Onion Effect: Memorization is Relative

Nicholas Carlini, Matthew Jagielski+4 more|arXiv (Cornell University)|Jun 21, 2022

Privacy-Preserving Technologies in Data被引用数 20

ひとこと要約

本論文は、最も脆弱な訓練データ例をmembership inference攻撃から除外すると、以前は安全だった新しい層の例が脆弱になり、単純な外れ値ベースのプライバシー防御が効果を発揮しなくなることを示している。CIFAR-10/100での Privacy Onion Effect を実証的に示し、その監査と機械的なアンラーニングへの影響を分析する。

ABSTRACT

Machine learning models trained on private datasets have been shown to leak their private data. While recent work has found that the average data point is rarely leaked, the outlier samples are frequently subject to memorization and, consequently, privacy leakage. We demonstrate and analyse an Onion Effect of memorization: removing the "layer" of outlier points that are most vulnerable to a privacy attack exposes a new layer of previously-safe points to the same attack. We perform several experiments to study this effect, and understand why it occurs. The existence of this effect has various consequences. For example, it suggests that proposals to defend against memorization without training with rigorous privacy guarantees are unlikely to be effective. Further, it suggests that privacy-enhancing technologies such as machine unlearning could actually harm the privacy of other users.

研究の動機と目的

• 私的データで訓練されたMLモデルにおける非一様な記憶の研究を促進する。
• 最も攻撃を受けやすい例を削除しても、プライバシーは意味のある改善を示さないことを示す。
• 観測された効果がデータサイズ、ノイズ、容量などの一般的な仮説で説明できるかを調査する。
• プライバシー監査と機械的アンラーニングへの影響を分析する。
• 実務展開におけるインスタンス固有のプライバシー配慮に関する指針を提供する。

提案手法

• CIFAR-10およびCIFAR-100に対するmembership inferenceのためのLikelihood Ratio Attack (LiRA)。
• 200,000モデルに対して攻撃成功を平均して、各例のプライバシースコアを計算する。
• 最も脆弱な5,000例（データの10%）を削除し、縮小データセットで再訓練する。
• 再訓練済みモデルでプライバシースコアを再計算し、理想的な期待値と比較する。
• オニオン効果の潜在的な説明を検討し、統制されたアブレーションで検証する。
• 重複、データセットサイズ、容量、アウトライヤーの役割を標的実験を通じて検討する。

実験結果

リサーチクエスチョン

• RQ1 最も脆弱な（攻撃を最も受けやすい）訓練データ例を削除するだけで、Membership Inferenceに対するプライバシーは有意に改善されるか。
• RQ2 そうでない場合、プライバシー脆弱性の持続・移動（オニオン効果）を説明する機序は何か。
• RQ3 提案された説明（ノイズ、データセットサイズ、容量、重複）は、観測された現象を説明するのに十分か。
• RQ4 動的なプライバシーリスクの状況に照らして、プライバシー監査と機械的アンラーニングにはどんな影響があるか。

主な発見

• 最も脆弱な5,000例を削除すると、CIFAR-10で理想的なプライバシー改善は15x、CIFAR-100で5xになるが、実際の改善は約2xである。
• オニオン効果は、縮小データで再訓練した後に新しく以前は安全だった例が脆弱化し、改善が期待値の約6分の1程度に抑えられる原因となる。
• 効果は統計的ノイズ、データセットサイズの縮小、モデル容量の制限、重複だけでは説明されない。
• 分布外データのアウトライヤーを注入してもCIFAR-10でこの効果を再現できず、現象は単なる任意の難しいアウトライヤーだけの話ではない。
• オニオン効果は局所的で、第一層のアウトライヤーが除去されたときに脆弱になる第二層の少数のアウトライヤーによって引き起こされることがある。