[論文レビュー] Leave-one-out Distinguishability in Machine Learning

Jiayuan Ye, Anastasia Borovykh+2 more|arXiv (Cornell University)|Sep 29, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、ガウス過程（GPs）およびニューラルネットワークガウス過程（NNGPs）を用いて、1つの学習データポイントが機械学習モデルの出力分布に与える影響を定量化する、新しい分析フレームワークである「リーブ・オール・アウト・ディスティングイッシュビリティ（LOOD）」を導入する。この手法により、再訓練を伴わずに、データの記憶化とプライバシーリスクを効率的かつ正確に推定可能であり、メンバーシップインファレンス攻撃の性能と強い相関関係を示す。また、高精度な再構成が可能な最適なクエリの特定も可能となる。

ABSTRACT

We introduce an analytical framework to quantify the changes in a machine learning algorithm's output distribution following the inclusion of a few data points in its training set, a notion we define as leave-one-out distinguishability (LOOD). This is key to measuring data **memorization** and information **leakage** as well as the **influence** of training data points in machine learning. We illustrate how our method broadens and refines existing empirical measures of memorization and privacy risks associated with training data. We use Gaussian processes to model the randomness of machine learning algorithms, and validate LOOD with extensive empirical analysis of leakage using membership inference attacks. Our analytical framework enables us to investigate the causes of leakage and where the leakage is high. For example, we analyze the influence of activation functions, on data memorization. Additionally, our method allows us to identify queries that disclose the most information about the training data in the leave-one-out setting. We illustrate how optimal queries can be used for accurate **reconstruction** of training data.

研究の動機と目的

• 訓練データの個々のポイントがモデルの予測に与える影響を、特にデータ記憶化や情報漏洩の文脈において、効率的かつ分析的に測定するための手法を開発すること。
• 実験的リーブ・オール・アウト再訓練の計算的非現実性を解消し、ガウス過程を用いた閉形式の解析的解を提供すること。
• 特定の訓練データポイントに関する情報漏洩を最大化するクエリを特定し、訓練データの標的的再構成を可能にすること。
• 活性化関数の選択が、LOODの観点から情報漏洩に与える影響を調査すること。
• 実世界のメンバーシップインファレンス攻撃の性能と相関させることで、フレームワークの正確性を検証すること。

提案手法

• 本稿では、ガウス過程（GPs）、特にニューラルネットワークガウス過程（NNGPs）を用いて、モデルの出力分布をモデル化し、1つのデータポイントを含む・含まないモデル間の統計的発散を解析的に計算する。
• LOODは、全データセットとリーブ・オール・アウトデータセットで訓練されたモデルの予測分布間のカルバック・ライブララー（KL）発散として定義され、1つのデータポイントの影響を捉える。
• GPsの事後平均および分散の閉形式表現を活用することで、再訓練を伴わず、2桁以上の計算量削減が達成される。
• フレームワークは、カーネル行列の近似と行列の摂動理論を用いて、特にRBFおよび球面NNGPカーネル下でのLOODの境界を導出する。
• 勾配ベースの最適化により、LOODを最大化する最適なクエリを特定し、モデル出力からの高精度な訓練データ再構成を可能にする。
• 理論的分析により、差分となるデータポイント自体がLOODの停留点であることが証明され、また低ランクのカーネル行列は低LOO Dを示し、情報漏洩が低減することを示唆する。

実験結果

リサーチクエスチョン

• RQ1 再訓練を伴わず、1つの学習データポイントがモデルの出力分布に与える影響をどのように解析的に定量化できるか？
• RQ2 リーブ・オール・アウト設定下で、特定の訓練データポイントに関する情報漏洩を最大化するクエリは何か？
• RQ3 活性化関数の選択が、LOODで測定される情報漏洩に与える影響は何か？
• RQ4 ブラックボックスのモデル予測と最適なクエリのみを用いて、訓練データをどの程度再構成できるか？
• RQ5 LOODは、メンバーシップインファレンスのような実世界のプライバシー攻撃とどの程度相関するか？

主な発見

• NNGPモデル下でのLOODは、ベンチマークデータセットにおいてメンバーシップインファレンス攻撃の成功率と強く相関しており、プライバシーリスクの測定における正確性が裏付けられる。
• LOODを最大化する最適なクエリは、差分となるデータポイントそのものであり、わずかな摂動に対しても同様の結果が得られることから、訓練ポイント付近での高い感度が示される。
• クエリ数が増加してもLOODはほとんど変化せず、差分ポイントに関するすべての関連情報が、そのポイントにおけるモデル予測に集中していることを示唆する。
• 最適化されたクエリを用いたLOO Dによる再構成画像は、元の訓練データと顕著な類似性を示す。たとえ最適でないクエリに到達した場合でも、依然として高精度なデータ再構成が可能である。
• 理論的分析により、低ランクのカーネル行列は低LOO Dを示すことが証明され、カーネルのランクに影響を与えるアーキテクチャ的選択が情報漏洩の低減に利用可能であることが示唆される。
• NNGP下での平均距離LOO Dは、深層ニューラルネットワークのリーブ・オール・アウト再訓練による実際の予測差と非常に近い一致を示し、自己影響および記憶化の測定における忠実性を確認する。