[논문 리뷰] Reconstructing Training Data from Trained Neural Networks

Niv Haim, Gal Vardi외 3명|arXiv (Cornell University)|2022. 06. 15.

Adversarial Robustness in Machine Learning인용 수 29

한 줄 요약

본 논문은, 일부 훈련된 분류기에 대해, 훈련 데이터의 상당 부분이 그레디언트 기반 학습의 암묵적 바이어스에 기반한 재구성 체계를 사용하여 네트워크 매개변수로부터 재구성될 수 있음을 보여준다.

ABSTRACT

Understanding to what extent neural networks memorize training data is an intriguing question with practical and theoretical implications. In this paper we show that in some cases a significant fraction of the training data can in fact be reconstructed from the parameters of a trained neural network classifier. We propose a novel reconstruction scheme that stems from recent theoretical results about the implicit bias in training neural networks with gradient-based methods. To the best of our knowledge, our results are the first to show that reconstructing a large portion of the actual training samples from a trained neural network classifier is generally possible. This has negative implications on privacy, as it can be used as an attack for revealing sensitive training data. We demonstrate our method for binary MLP classifiers on a few standard computer vision datasets.

연구 동기 및 목표

• 훈련 샘플이 학습된 신경망 파라미터에 어느 정도까지 인코딩되어 있는지 조사한다.
• 그레디언트 기반 학습의 암묵적 바이어스에 기초한 실용적 재구성 체계를 제안한다.
• 표준 비전 데이터셋에서 이진 MLP 분류기에 대한 재구성 재구성을 시연한다.
• 재구성 접근법의 프라이버시 영향과 한계를 논의한다.

제안 방법

• 동형 네트워크에서의 로지스틱 손실의 그레디언트 흐름이 마진 최대화 문제의 KKT 포인트로 수렴한다는 이론적 결과를 활용한다.
• 데이터 재구성을 학습된 매개변수를 만족시키는 입력 샘플 x_i 와 이중 변수 lambda_i 를 KKT 스타일 표현으로 해석하는 문제로 공식화한다.
• 정지성 항, 이중 타당성, 선택적 사전 정보를 결합하여 훈련 유사 입력을 비볼록 최적화를 통해 복원하는 재구성 손실을 정의한다.
• 학습된 매개변수를 잠재적 훈련 샘플과 연결하기 위해 네트워크의 입력에 대한 그래디언트를 사용한다.
• SGD 기반 최적화를 적용하여 재구성 손실을 최소화하고 후보 훈련 샘플을 추출한다.

실험 결과

연구 질문

• RQ1 분류기의 학습된 네트워크 매개변수에서 상당 부분의 훈련 샘플을 재구성할 수 있는가?
• RQ2 어떤 이론적 메커니즘(암묵적 바이어스)이 어떤 샘플이 재구성 가능한지와 그 이유를 설명하는가?
• RQ3 이진 분류기를 사용한 실제 데이터셋(MNIST/CIFAR-10)에서 실용적 재구성 체계의 효과는 어떤가?
• RQ4 이러한 재구성 공격의 프라이버시 영향과 한계는 무엇인가?

주요 결과

• 훈련된 이진 분류기의 매개변수로부터 훈련 데이터의 상당 부분을 재구성할 수 있다.
• 재구성 품질은 이론과 일치한다: 학습된 분류기의 경계에 있는 샘플일수록 더 나은 재구성이 발생한다.
• 과도하게 파라미터화된 네트워크를 가진 이진 분류기에서 MNIST와 CIFAR-10에 대해 재구성이 작동한다.
• 초기화가 작고 더 많은 학습 에폭이 재구성 품질을 향상시키는 경향이 있다.
• 이 접근법은 실제 입력과 시각적으로 유사한 재구성을 생성하며, 일부 노이즈가 있어 프라이버시 위험을 시사한다.