[논문 리뷰] Data from Model: Extracting Data from Non-robust and Robust Models

Philipp Benz, Chaoning Zhang외 2명|arXiv (Cornell University)|2020. 07. 13.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 8

한 줄 요약

이 논문은 경량화된 데이터 추출 기반 최적화와 가상 로짓을 사용하여 훈련된 모델에서 데이터를 추출하는 DfM(Data from Model) 방법을 소개한다. 모델이 추출된 데이터로 재학습할 경우 높은 정확도를 유지함을 입증하며, 특히 강건한 모델의 경우 공유된 특징 매핑이 데이터와 모델 간의 핵심 연결 고리임을 확인한다.

ABSTRACT

The essence of deep learning is to exploit data to train a deep neural network (DNN) model. This work explores the reverse process of generating data from a model, attempting to reveal the relationship between the data and the model. We repeat the process of Data to Model (DtM) and Data from Model (DfM) in sequence and explore the loss of feature mapping information by measuring the accuracy drop on the original validation dataset. We perform this experiment for both a non-robust and robust origin model. Our results show that the accuracy drop is limited even after multiple sequences of DtM and DfM, especially for robust models. The success of this cycling transformation can be attributed to the shared feature mapping existing in data and model. Using the same data, we observe that different DtM processes result in models having different features, especially for different network architecture families, even though they achieve comparable performance.

연구 동기 및 목표

• 딥러닝의 역과정을 조사하는 것: 원본 훈련 데이터에 접근하지 못한 상태에서 훈련된 모델에서 데이터를 추출하는 것.
• 모델이 학습한 특징 매핑이 원본 훈련 데이터 없이 복구되고 재사용될 수 있는지 조사하는 것.
• 다양한 모델 아키텍처와 훈련 방식(비강건 대 비강건) 간 특징 매핑의 안정성과 호환성 비교.
• Data-to-Model 및 Model-to-Data 사이클링 과정이 다수 반복되더라도 모델 성능이 유지되는지 평가하는 것.
• 동일한 데이터셋으로부터 다양한 모델 런이 서로 다른지 또는 공유된 특징 표현을 학습하는지 이해하는 것.

제안 방법

• 대체 이미지와 가상 로짓을 타겟으로 하여, $l_2$-손실을 사용한 투영된 경사 하강법(PGD)을 활용해 모델의 로짓에서 합성 데이터를 생성한다.
• 기존 DNN의 타겟 로짓 행동을 모델링하기 위해 정규분포 $\mathcal{N}(\mu, \sigma)$에서 샘플링한 가상 로짓을 사용한다.
• DfM로 생성된 데이터를 표준 backpropagation를 통해 재학습에 활용하며, 출력 로짓과 저장된 진짜 로짓 간의 $l_2$-거리 최소화를 목표로 한다.
• 정보 보존 능력을 평가하기 위해 Data-to-Model (DtM)과 DfM 과정을 반복적으로 연결하여 체인 형식으로 수행한다.
• 다른 모델 간에 추출된 데이터로 훈련하고 평가하여 특징 호환성과 이식 가능성 평가.
• 표준 및 적대적 훈련된 모델을 사용해 MNIST와 CIFAR-10에서 성능 평가하며, 아키텍처와 훈련 유형 간 정확도 비교.

실험 결과

연구 질문

• RQ1 원본 훈련 데이터에 접근하지 못한 상태에서 훈련된 딥 네트워크에서 데이터를 효과적으로 추출할 수 있는가?
• RQ2 원본 데이터셋으로 훈련된 모델 대비 추출된 데이터로 훈련된 모델의 성능은 얼마나 좋은가?
• RQ3 다른 모델 아키텍처가 동일한 데이터로부터 동일한 특징 매핑을 학습하는가, 아니면 다른 특징 매핑을 학습하는가?
• RQ4 모델의 강건성(표준 대 적대적 훈련)이 추출된 특징 매핑의 품질과 호환성에 어떤 영향을 미치는가?
• RQ5 Data-to-Model 및 Model-to-Data 변환을 다수 반복할 경우 특징 매핑이 얼마나 잘 유지되는가?

주요 결과

• DfM를 통해 추출된 데이터로 훈련된 모델은 원본 데이터셋으로 훈련된 모델과 유사한 정확도를 달성하며, 성능 저하가 최소화된다—특히 강건한 모델의 경우 더욱 그렇다.
• 비강건 모델의 경우, 한 번의 DfM-DtM 사이클 후 정확도 저하가 중간 수준이다(예: CIFAR-10에서 약 3–5% 감소), 반면 강건 모델은 거의 동일한 성능(예: ResNet50에서 90.2% 대 90.5%)을 유지한다.
• 교차 평가 결과, 동일한 아키텍처이지만 다른 런에서 추출된 데이터로 훈련된 모델 간 정확도는 약 40–60% 수준에 그치며, 이는 서로 다른 특징 매핑이 학습되었음을 시사한다.
• 동일한 아키텍처 패밀리(예: VGG 또는 ResNet)에서 유도된 모델은 서로 다른 패밀리 모델보다 특징 매핑 호환성이 높으며, ResNet 모델 간 교차 평가 시 약 60%의 정확도를 기록한다.
• 강건 모델은 비강건 모델보다 더 일관되고 이식 가능한 특징 매핑을 보이며, 이는 더 높은 교차 아키텍처 정확도(예: 강건 추출 데이터로 재학습한 ResNet50에서 90.3–91.6%)로 입증된다.
• DtM 및 DfM 사이클링 과정은 다수 반복 후에도 모델 성능을 유지하며, 정확도 저하가 최소화되어 학습된 특징 매핑의 안정성을 확인한다.