[論文レビュー] Reconstructing Training Data from Trained Neural Networks

Niv Haim, Gal Vardi+3 more|arXiv (Cornell University)|Jun 15, 2022

Adversarial Robustness in Machine Learning被引用数 29

ひとこと要約

本論文は、いくつかの訓練済み分類器に対して、勾配ベースの訓練の暗黙のバイアスに基づく再構成手法を用いることで、ネットワークパラメータから訓練データのかなりの部分を再構成できることを示している。

ABSTRACT

Understanding to what extent neural networks memorize training data is an intriguing question with practical and theoretical implications. In this paper we show that in some cases a significant fraction of the training data can in fact be reconstructed from the parameters of a trained neural network classifier. We propose a novel reconstruction scheme that stems from recent theoretical results about the implicit bias in training neural networks with gradient-based methods. To the best of our knowledge, our results are the first to show that reconstructing a large portion of the actual training samples from a trained neural network classifier is generally possible. This has negative implications on privacy, as it can be used as an attack for revealing sensitive training data. We demonstrate our method for binary MLP classifiers on a few standard computer vision datasets.

研究の動機と目的

• 訓練データのサンプルが訓練済みニューラルネットワークのパラメータにどの程度エンコードされているかを調査する。
• 勾配ベースの訓練の暗黙のバイアスに基づく実用的な再構成手法を提案する。
• 標準的なビジョンデータセット上で、二値のMLP分類器から訓練データを再構成することを実証する。
• この再構成アプローチのプライバシーへの影響と限界について議論する。

提案手法

• ロジスティック損失を用いる均質ネットワークに対する勾配フローがマージン最大化問題のKKT点へ収束するという理論的結果を活用する。
• 訓練済みパラメータのKKT風表現を満たす入力サンプル x_i とデュアル変数 lambda_i を解く形でデータ再構成を定式化する。
• ステーショナリティ項、デュアル適合性、任意の事前情報を組み合わせて、訓練データに類似した入力を回復する非凸最適化を行う再構成損失を定義する。
• 入力に対するネットワークの勾配を用いて、学習済みパラメータと潜在的な訓練サンプルを結びつける。
• 再構成損失を最小化するためにSGDベースの最適化を適用し、候補となる訓練サンプルを抽出する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みネットワークパラメータから、かなりの部分の訓練サンプルを回収できるか？
• RQ2 どのような理論的メカニズム（暗黙のバイアス）が、どのサンプルが回復可能であり、なぜかを説明するのか？
• RQ3 実データセット（MNIST/CIFAR-10）上で、二値分類器を用いた実用的な再構成手法はどれくらい効果的か？
• RQ4 このような再構成攻撃のプライバシーへの影響と限界は何か？

主な発見

• 訓練済みの二値分類器のパラメータから、訓練データのかなりの部分を再構成できる。
• 再構成の品質は理論と一致する：学習された分類器のマージンにあるサンプルほど再構成が良好である。
• オーバーパラメータ化されたネットワークを用いた二値分類器の場合、MNISTおよび CIFAR-10 で再構成が機能する。
• 小さな初期化とより多くの学習エポックは再構成品質を向上させる傾向がある。
• このアプローチは、実入力に視覚的に似た再構成を生み出し、ノイズを伴うことがあり、潜在的なプライバシーリスクを浮き彫りにする。