[논문 리뷰] Distributed generation of privacy preserving data with user customization

Xiao Dong Chen, Thomas Navidi외 2명|arXiv (Cornell University)|2019. 04. 20.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 잠재 표현 학습과 기밀성 처리를 분리함으로써 기밀성을 보장하는 분산형 사용자 맞춤형 프레임워크를 제안한다. 고정된 Variational Autoencoder (VAE)와 GAN 스타일의 강력한 최적화를 통해 훈련된 경량 생성 필터를 사용하여, 이 방법은 모바일 기기에서 사용자가 정의한 기밀 속성을 은폐하면서도 유용성을 유지하는 로컬 데이터 편향을 가능하게 한다. MNIST, UCI-Adult, CelebA 데이터셋에서 가우시안 노이즈보다 기밀성-유용성 트레이드오프에서 뛰어난 성능을 보였다.

ABSTRACT

Distributed devices such as mobile phones can produce and store large amounts of data that can enhance machine learning models; however, this data may contain private information specific to the data owner that prevents the release of the data. We wish to reduce the correlation between user-specific private information and data while maintaining the useful information. Rather than learning a large model to achieve privatization from end to end, we introduce a decoupling of the creation of a latent representation and the privatization of data that allows user-specific privatization to occur in a distributed setting with limited computation and minimal disturbance on the utility of the data. We leverage a Variational Autoencoder (VAE) to create a compact latent representation of the data; however, the VAE remains fixed for all devices and all possible private labels. We then train a small generative filter to perturb the latent representation based on individual preferences regarding the private and utility information. The small filter is trained by utilizing a GAN-type robust optimization that can take place on a distributed device. We conduct experiments on three popular datasets: MNIST, UCI-Adult, and CelebA, and give a thorough evaluation including visualizing the geometry of the latent embeddings and estimating the empirical mutual information to show the effectiveness of our approach.

연구 동기 및 목표

• 고해상도 이미지나 개인 기록과 같은 고차원 데이터를 기밀성을 유지하면서 기계 학습에 유용한 방식으로 공유하는 문제를 해결하기 위해.
• 각 레이블 조합에 대해 중앙 집중식 재훈련이 필요 없이 사용자가 개인적으로 기밀로 설정하고자 하는 속성(예: 나이, 성별, 인종)을 맞춤 설정할 수 있도록 하기 위해.
• 모바일 기기에서 실행 가능한 계산 효율성이 높고 분산된 솔루션을 설계하여 데이터 전송 이전에 로컬에서 기밀성 보장 변환을 적용할 수 있도록 하기 위해.
• 기밀 레이블과 잠재 표현 간의 상관관계를 줄이면서도 비기밀 속성의 유용성을 유지하기 위해.
• 각 기밀 레이블 조합마다 별도의 오토인코더를 훈련해야 하는 기존 방법의 확장성 한계를 극복하기 위해.

제안 방법

• 모든 사용자와 기밀 레이블 조합 간에 공통된 압축된 잠재 표현을 생성하기 위해 고정된 Variational Autoencoder (VAE)를 사용한다.
• 개별 사용자의 기밀 선호도에 따라 잠재 표현을 편향시키기 위해, GAN 유사 강력 최적화를 통해 훈련된 경량의 사용자 전용 생성 필터를 사용한다.
• 생성 필터는 로컬 기기에서 분산 방식으로 훈련되어 통신 및 계산 오버헤드를 최소화한다.
• 왜곡 예산을 사용하여 노이즈 주입을 제한함으로써, 명시적으로 보호되지 않은 비대상 속성조차도 손상되지 않도록 보장한다.
• 기밀 레이블 분류기의 정확도를 낮추면서도 유용성 레이블의 정확도를 유지하기 위해 minmax 최적화를 활용한다.
• 잠재 표현과 기밀 레이블 간의 상관관계 감소를 정량화하기 위해 경험적 상호정보를 계산한다.

실험 결과

연구 질문

• RQ1 고정된 VAE를 사용하여 다양한 기밀 레이블 조합에 걸쳐 효율적이고 사용자 맞춤형 기밀성 처리가 가능한 통합 잠재 표현을 만들 수 있는가?
• RQ2 GAN 스타일 최적화로 훈련된 소형 사용자 전용 생성 필터는 기밀 속성 추론의 유용성 감소에 얼마나 효과적인가?
• RQ3 생성 필터의 왜곡 예산이 비대상 속성의 과도한 편향을 방지하여 의도하지 않은 유용한 정보를 유지하는가?
• RQ4 기본적인 가우시안 노이즈 주입 방식과 비교했을 때, 제안된 방법은 기밀성-유용성 트레이드오프에서 어떤가?
• RQ5 잠재 표현과 기밀 레이블 간의 경험적 상호정보는 어느 정도 감소하는가?

주요 결과

• 왜곡 예산이 KL 발산 기준 3일 때, 생성 필터는 기밀 레이블 분류 정확도를 95%에서 약 65%로 감소시켰고, 유용성 레이블 정확도는 약 90%로 유지했다.
• 생성 필터는 가우시안 메커니즘보다 기밀성-유용성 트레이드오프에서 뛰어난 성능을 보였으며, 기밀 레이블 정확도를 더 효과적으로 낮추면서도 유용성 레이블 정확도를 더 잘 유지했다.
• MNIST 사례 1에서 '원형'과 같은 비대상 속성은 왜곡 예산 덕분에 보존되었으며, 이는 노이즈 주입이 오직 대상 속성에 한정되었기 때문이다.
• 왜곡 예산이 증가함에 따라 잠재 표현과 기밀 레이블 간의 경험적 상호정보가 크게 감소하여 상관관계 감소가 확인되었다.
• 시각화 결과, 잠재 기하학이 변경되어 0과 6과 같은 숫자들이 더 유사해져 '≥5'와 같은 기밀 속성을 구분하기 어려워지는 것으로 나타났다.
• CelebA에서는 '매력적인', '안경', '곱은 머리카락'과 같은 레이블을 성공적으로 기밀성 처리하면서도 현실적인 이미지 품질과 미소를 유지하는 유용성 레이블을 그대로 유지했다.