[논문 리뷰] Deconstructing Data Reconstruction: Multiclass, Weight Decay and General Losses

Gon Buzaglo, Niv Haim외 5명|arXiv (Cornell University)|2023. 07. 04.

Neural Networks and ApplicationsComputer Science인용 수 3

한 줄 요약

이 논문은 신경망에서의 데이터 복원 기법을 이진 분류를 초월해 다중분류 및 회귀 작업으로 확장하며, 가중치 감소를 포함한 다양한 손실 함수에 적용 가능한 일반적인 복원 체계를 도입한다. 가중치 감소가 복원 가능성(reconstructability)을 향상시킨다는 것을 보여주며, 5,000개의 샘플까지 훈련된 모델에서조차도 성공적인 복원을 가능하게 하여 모델의 기억화 및 프라이버시에 대한 새로운 취약점을 드러낸다.

ABSTRACT

Memorization of training data is an active research area, yet our understanding of the inner workings of neural networks is still in its infancy. Recently, Haim et al. (2022) proposed a scheme to reconstruct training samples from multilayer perceptron binary classifiers, effectively demonstrating that a large portion of training samples are encoded in the parameters of such networks. In this work, we extend their findings in several directions, including reconstruction from multiclass and convolutional neural networks. We derive a more general reconstruction scheme which is applicable to a wider range of loss functions such as regression losses. Moreover, we study the various factors that contribute to networks' susceptibility to such reconstruction schemes. Intriguingly, we observe that using weight decay during training increases reconstructability both in terms of quantity and quality. Additionally, we examine the influence of the number of neurons relative to the number of training samples on the reconstructability. Code: https://github.com/gonbuzaglo/decoreco

연구 동기 및 목표

• Haim 등(2022)의 이진 분류 작업에 국한된 데이터 복원 프레임워크를 다중분류 작업으로 확장하는 것.
• 이론적 손실 함수의 광범위한 범위에 적용 가능한 일반적인 복원 체계를 개발하는 것, 특히 MSE와 같은 회귀 손실 함수를 포함하여.
• 가중치 감소가 복원 가능성에 미치는 영향을 분석하는 것, 특히 컨볼루션 신경망에서의 영향을 중심으로.
• 모델 용량(파라미터 수)과 훈련 샘플 수 간의 관계가 복원 가능성에 미치는 영향을 분석하는 것.
• 이전의 1,000개 샘플 이론을 초월해 더 대규모 모델에서 훈련 데이터를 복원할 수 있는지 평가하는 것.

제안 방법

• 가중치 감소를 사용해 훈련된 신경망의 암묵적 편향을 기반으로 일반화된 복원 체계를 유도하며, KKT 조건 프레임워크를 다중분류 및 일반 손실 함수로 확장한다.
• 다중분류 교차엔트로피 손실 및 회귀 손실(MSE 등)과도 호환되는 복원 손실 함수를 적응시켜 다양한 목표로 훈련된 모델에서의 복원을 가능하게 한다.
• 제한된 입력 제약 조건과 반복적 정밀화를 사용한 기울기 기반 최적화 기법을 활용해 모델 파라미터를 역으로 풀어 훈련 샘플을 복원한다.
• 최적화 문제와 최대 마진 문제의 KKT 조건 간 이중성(duality)을 활용한 복원 목표함수(식 15)를 도입한다.
• 다양한 네트워크 폭(W)과 샘플 수(N)를 가진 이진 CIFAR10(동물 대 차량)에서 제어 실험을 수행하며, SSIM > 0.4 기준으로 복원 가능성 측정.
• 3층 MLP와 컨볼루션 네트워크에서 방법을 검증하며, BCE 및 MSE 손실을 모두 사용하고 다양한 하이퍼파rameter 설정에서 성능 평가.

Figure 1: Reconstructed training samples from a multi-class MLP classifier that was trained on $500$ CIFAR10 images. Each column corresponds to one class and shows the $10$ training samples ( red ) that were best reconstructed from this class, along with their reconstructed result ( blue ).

실험 결과

연구 질문

• RQ1 Haim 등(2022)의 복원 체계는 다중분류 작업으로 일반화될 수 있는가?
• RQ2 MSE와 같은 회귀 손실에 적용할 경우 복원 방법은 여전히 효과적인가?
• RQ3 가중치 감소는 신경망 내 훈련 샘플의 복원 가능성에 어떤 영향을 미치는가?
• RQ4 모델 용량(파라미터 수)과 훈련 샘플 수 간의 관계는 복원 가능성에 어떤 영향을 미치는가?
• RQ5 이전의 1,000개 샘플 이론을 초월해 5,000개 샘플 훈련 데이터로부터도 성공적인 복원이 가능한가?

주요 결과

• 복원 체계는 다중분류 신경망에서 훈련 샘플을 성공적으로 복원하며, 클래스 수가 증가할수록 복원 가능성은 향상된다.
• 이 방법은 회귀 손실으로도 일반화되어, 이전에는 불가능했던 MSE 손실로 훈련된 모델에서도 복원이 가능하게 한다.
• 가중치 감소는 복원 가능성에 상당한 영향을 미치며, 이로 인해 이전에 MLP에 국한되었던 컨볼루션 신경망에서도 성공적인 복원이 가능해졌다.
• 복원 가능성은 모델 폭(W)과 훈련 샘플 수(N)의 비율에 크게 영향을 받으며, W/N 비율이 클수록 더 많은 샘플을 복원할 수 있다.
• 3층 MLP를 5,000개 샘플로 훈련한 경우에도 좋은 복원 결과를 도출하여 이전의 1,000개 샘플 한계를 초월한 가능성을 입증한다.
• N = 500일 경우, 심지어 큰 모델(W = 1,000)라도 복원 가능성은 8%에 불과하여 데이터셋 크기가 증가함에 따라 성능이 급격히 떨어지는 경향을 보인다.

Figure 2: Multi-class classifiers are more vulnerable to training-set reconstruction. For a training set of size $500$ , a multi-class model ( left ) yields $101$ reconstructed samples with good quality (SSIM $>$ $0.4$ ), compared to $40$ in a binary classification model ( right ).