[논문 리뷰] Generating Artificial Data for Private Deep Learning

Aleksei Triastcyn, Boi Faltings|arXiv (Cornell University)|2018. 03. 08.

Privacy-Preserving Technologies in Data참고 문헌 36인용 수 23

한 줄 요약

이 논문은 생성적 적대적 네트워크(GANs)를 사용하여 실제 데이터의 통계적 성질을 유지하면서도 개인 정보를 보호하는 고품질의 인공 데이터셋을 생성하는 방법을 제안한다. 민감한 데이터로 GAN을 훈련시키고, KL 발산과 체비세프 부등식을 기반으로 한 경험적 개인 정보 보호 추정 프레임워크를 적용함으로써, 모델 역공학 공격에 대해 강력한 저항성을 확보한다—얼굴 검출 성공률를 63.6%에서 1.3%로 감소시키며, 동시에 하류 작업에서 높은 모델 정확도를 유지한다.

ABSTRACT

In this paper, we propose generating artificial data that retain statistical properties of real data as the means of providing privacy with respect to the original dataset. We use generative adversarial network to draw privacy-preserving artificial data samples and derive an empirical method to assess the risk of information disclosure in a differential-privacy-like way. Our experiments show that we are able to generate artificial data of high quality and successfully train and validate machine learning models on this data while limiting potential privacy loss.

연구 동기 및 목표

• 기계 학습에서 개인 정보를 훼손하지 않고 민감한 훈련 데이터를 공개하는 문제를 해결하기 위해.
• 공개 데이터를 사전 훈련용으로 사용하지 않고도 접근 가능한 실용적이고 확장 가능한 개인 정보 보호 데이터 공개 방법을 개발하기 위해.
• 통계적 개인 정보 보호 추정 프레임워크를 사용하여 공개된 인공 데이터셋에서의 정보 泄露 위험을 정량적으로 평가하기 위해.
• 실제 데이터로 훈련된 모델과 동일한 높은 성능을 유지하면서도, 인공 데이터로 훈련된 모델이 모델 역공학 공격에 강건함을 입증하기 위해.
• 개인 정보 보호를 위한 데이터 공개 메커니즘을 제공함으로써 데이터 풀링, 모델 공유, 데이터 마켓플레이스를 가능하게 하기 위해.

제안 방법

• 민감한 실제 데이터로 GAN을 훈련시켜 원본 데이터셋의 통계적 성질을 유지하는 인공 데이터 샘플을 생성한다.
• WGAN-GP 아키텍처를 사용하고, 비밀성 보장된 비평가 레이어를 적용하여 훈련 안정성을 향상시키고 비밀성 보장된 비평가 출력을 제공한다.
• KL 발산 추정과 체비세프 부등식을 기반으로 한 경험적 개인 정보 보호 추정 프레임워크를 적용하여 기대 개인 정보 손실의 경계를 계산한다.
• 모델 역공학 공격 평가 시에 사용하기 위해 이미지를 64차원 벡터로 압축하기 위해 스택형 노이즈 제거 autoencoder를 적용한다.
• 학생 모델을 생성된 인공 데이터로 훈련시키고, 표준 벤치마크(MNIST, SVHN, CelebA)에서 성능을 평가한다.
• 훈련된 모델에 대해 모델 역공학 공격을 수행하여 정보 泄露 수준을 평가하며, 얼굴 검출 및 인식 성능을 지표로 사용한다.

실험 결과

연구 질문

• RQ1 GAN으로 생성된 인공 데이터는 높은 유용성을 확보하면서도 개인 정보 보호를 유지할 수 있는가?
• RQ2 차별적 개인 정보 보호와 유사한 방식으로, 공개된 인공 데이터셋의 개인 정보 위험을 정량적으로 추정할 수 있는가?
• RQ3 실제 데이터 대비 인공 데이터로 훈련했을 때, 모델 역공학 공격에 대한 취약성이 어느 정도 감소하는가?
• RQ4 공개적으로 이용 가능한 훈련 데이터 없이도 제안된 방법이 강력한 개인 정보 보장 기능을 달성할 수 있는가?
• RQ5 경험적 개인 정보 보호 경계는 모델 역공학 시나리오에서 실제 공격 성공률과 어떻게 상관관계가 있는가?

주요 결과

• 모델 역공학 공격에서 얼굴 검출 성공률가 실제 데이터로 훈련된 모델의 63.6%에서 GAN으로 생성된 데이터로 훈련된 모델의 1.3%로 감소하였다.
• 인공 데이터에서 얼굴 인식 성공률는 0.3%로 떨어졌으며, 이는 최신 기준 오차 범위 이내에 들어가 있어 강력한 개인 정보 보호 성능을 보였다.
• 제안된 개인 정보 보호 추정 프레임워크는 MNIST, SVHN, CelebA 데이터셋에 대해 기대 개인 정보 손실 경계를 일자리 수준으로 계산하였다.
• 비밀성 보장된 비평가 레이어를 추가함으로써 훈련 안정성이 향상되었고, 이미지 다양성이 증가하며 개인 정보 보호 보장 수준이 강화되었다.
• 실제 데이터로 훈련된 모델과 동일한 높은 정확도를 확보하여, 인공 데이터로 훈련된 모델의 유용성이 실제 데이터로 훈련된 모델와 유사함을 입증하였다.
• 시각적 점검 결과, 자세와 조명이 유사하더라도 얼굴 특징, 피부 색소, 성별 등의 중요한 개인 정보 민감도가 높은 요소에서 생성된 이미지가 실제 이미지와 구분됨을 확인하였다.