[論文レビュー] Measuring Unintended Memorisation of Unique Private Features in Neural Networks

John Hartley, Sotirios A. Tsaftaris|arXiv (Cornell University)|Feb 16, 2022

Machine Learning in Healthcare被引用数 5

ひとこと要約

本稿では、医療画像における患者の氏名など、一意の個人情報特徴（プライベート特徴）が訓練済みニューラルネットワークに意図せず記憶されているかどうかを検出するブラックボックス記憶スコアを提案する。訓練済みモデルの出力におけるKLダイバージェンスを、分布外の画像を変更した場合と比較することで、ドロップアウト、バッチノーマライゼーション、データ拡張などの正則化手法を適用しても、MNIST、Fashion-MNIST、CIFAR-10のモデルが訓練データに一度だけ現れる一意の特徴を記憶していることが明らかになり、顕著なプライバシーリスクを示している。

ABSTRACT

Neural networks pose a privacy risk to training data due to their propensity to memorise and leak information. Focusing on image classification, we show that neural networks also unintentionally memorise unique features even when they occur only once in training data. An example of a unique feature is a person's name that is accidentally present on a training image. Assuming access to the inputs and outputs of a trained model, the domain of the training data, and knowledge of unique features, we develop a score estimating the model's sensitivity to a unique feature by comparing the KL divergences of the model's output distributions given modified out-of-distribution images. Our results suggest that unique features are memorised by multi-layer perceptrons and convolutional neural networks trained on benchmark datasets, such as MNIST, Fashion-MNIST and CIFAR-10. We find that strategies to prevent overfitting (e.g.\ early stopping, regularisation, batch normalisation) do not prevent memorisation of unique features. These results imply that neural networks pose a privacy risk to rarely occurring private information. These risks can be more pronounced in healthcare applications if patient information is present in the training data.

研究の動機と目的

• ニューラルネットワークが、ラベルやクラス分布に含まれないが、訓練データに一度だけ現れる一意の個人情報特徴（例：名前やID）を意図せず記憶するかどうかを調査すること。
• 訓練データにアクセスできないブラックボックス環境下で、モデルの入力・出力および一意の特徴の知識のみを用いて、このような記憶を測定する手法を開発すること。
• ドロップアウト、バッチノーマライゼーション、データ拡張などの一般的な正則化手法が、一意の個人情報特徴の記憶を効果的に防ぐかどうかを評価すること。
• モデルの記憶と、TracInによる自己影響スコアなどの例の影響度との関係を評価すること。
• 医療分野を含む実世界の応用において、患者識別子がモデル重みに意図せず埋め込まれる可能性があるというプライバシーリスクを強調すること。

提案手法

• MNIST、Fashion-MNIST、CIFAR-10などのベンチマークデータセットに、一意の個人情報特徴（例：名前）を含む合成「キャンアリー」画像を埋め込む。
• マルチレイヤーパーセプトロンと畳み込みニューラルネットワークを、これらの拡張済みデータセット上で訓練し、実世界の訓練シナリオを模擬する。
• オリジナルのキャンアリー画像と、一意の特徴は保持するが他の視覚的コンテンツを変更した画像のモデル出力分布間のKLダイバージェンスとして記憶スコアMを定義する。
• 同じ一意の特徴を有するが背景や文脈が異なる分布外の画像を用いて、モデルの感度を調査する。
• 複数のキャンアリーに対してスコアを計算し、平均M値を算出することで記憶度合いを評価する。
• ドロップアウト、データ拡張、バッチノーマライゼーションなどの正則化手法が記憶に与える影響を、Mスコアの比較により評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練データに一度だけ現れる一意の個人情報特徴が、ラベルやクラス分布に含まれない場合でも、ニューラルネットワークがその特徴を記憶する可能性があるか？
• RQ2 入力・出力のみを用い、訓練データにアクセスできないブラックボックス環境下でも、提案された記憶スコアがそのような意図しない記憶を効果的に検出できるか？
• RQ3 ドロップアウト、バッチノーマライゼーション、データ拡張などの標準的な正則化手法が、一意の個人情報特徴の記憶を効果的に防げるか？
• RQ4 自己影響（TracInによる測定）とモデルのその一意の特徴の記憶度合いとの間に相関があるか？
• RQ5 データ拡張は、同じ一意の特徴を持つ例の有効な数を増やすため、一意の特徴の記憶にどのように影響するか？特に、その影響が顕著に現れる状況はどのようなものか？

主な発見

• 提案された記憶スコアは、MNIST、Fashion-MNIST、CIFAR-10で訓練されたマルチレイヤーパーセプトロンおよび畳み込みニューラルネットワークにおいて、一意の個人情報特徴の意図しない記憶を効果的に検出できた。
• 正則化を適用しても記憶スコア（M）は有意に残る。例えば、バッチノーマライゼーションを適用したCIFAR-10用のCNN-2モデルではM = 1.7であり、強い記憶が確認された。
• データ拡張は記憶スコアを上昇させる—例として、0.018から0.13に上昇した—これは、同じ一意の特徴を持つ例の数が間接的に増加することで、誤った相関が強化されるためである。
• Fashion-MNISTおよびCIFAR-10では、自己影響（TracInによる測定）と記憶スコアとの間に強くは相関がないことが判明し、高影響度の例が複雑なデータセットにおける記憶の主な要因ではないことが示唆された。
• 標準的なベンチマークデータセットですら一意の個人情報特徴が記憶されていることが判明し、医療分野など、患者識別子が訓練データに意図せず含まれる可能性がある実世界の応用において、継続的なプライバシーリスクが存在することが示唆された。