[논문 리뷰] Private Set Generation with Discriminative Information

Dingfan Chen, Raouf Kerkouche외 1명|arXiv (Cornell University)|2022. 11. 07.

Privacy-Preserving Technologies in Data인용 수 14

한 줄 요약

이 논문은 고차원 데이터 생성을 위한 차별적(private) 접근법을 제안하며, 복잡한 생성 모델을 훈련하는 대신 하류 작업의 유효성을 위해 소수의 합성 샘플을 직접 최적화한다. 하류 작업으로부터의 분류 정보를 활용함으로써, 기존 최고 수준의 비밀유지 생성 모델보다 MNIST 및 패션-MNIST에서 최대 10% 높은 테스트 정확도를 달성하면서도 메모리와 계산 비용을 절감한다.

ABSTRACT

Differentially private data generation techniques have become a promising solution to the data privacy challenge -- it enables sharing of data while complying with rigorous privacy guarantees, which is essential for scientific progress in sensitive domains. Unfortunately, restricted by the inherent complexity of modeling high-dimensional distributions, existing private generative models are struggling with the utility of synthetic samples. In contrast to existing works that aim at fitting the complete data distribution, we directly optimize for a small set of samples that are representative of the distribution under the supervision of discriminative information from downstream tasks, which is generally an easier task and more suitable for private training. Our work provides an alternative view for differentially private generation of high-dimensional data and introduces a simple yet effective method that greatly improves the sample utility of state-of-the-art approaches.

연구 동기 및 목표

• 기존의 차별적(private) 생성 모델이 고차원 데이터 환경에서 낮은 유효성 문제를 해결하기 위해.
• 완전한 분포 모델링이 아닌 하류 작업 성능에 초점을 맞춤으로써 비밀유지 데이터 생성의 실용성을 향상시키기 위해.
• 대규모 생성 모델 훈련 대신 대표적인 합성 샘플의 소수 집합에 지식을 압축함으로써 계산 및 메모리 오버헤드를 줄이기 위해.
• 엄격한 개인정보 보호 제약 조건 하에서 깊은 생성 모델 훈련에 대한 더 효과적인 대안을 제공하기 위해.
• 실제 응용에서 복잡한 비밀유지 생성 모델링보다도 정보성 있는 샘플을 직접 최적화하는 것이 우수할 수 있음을 보여주기 위해.

제안 방법

• 깊은 생성 모델을 훈련하는 대신, 차별적(private) 보장 하에 훈련 복잡도를 줄이기 위해 소수의 합성 샘플을 직접 최적화한다.
• 합성 샘플의 유효성을 높이기 위해 하류 신경망(예: 컨볼루션 네트워크 분류기)으로부터의 분류 신호를 활용하여 최적화를 이끈다.
• 차별적(private) 확률적 경사 하강법(DP-SGD)을 사용하여 개인정보 보호 보장을 확보한다.
• 표본 품질 향상과 일반화 능력 향상을 위해 사전 훈련된 DCGAN의 이미지 사전 지식을 선택적으로 활용한다.
• 개인정보 보호, 유효성, 샘플 대표성 간의 균형을 고려하여 종단 간(end-to-end) 미분 가능한 최적화 문제로 공식화한다.
• 다양한 개인정보 보호 예산과 클래스당 샘플 수 설정에서 여러 데이터셋(MNIST, 패션-MNIST)에 대해 평가한다.

실험 결과

연구 질문

• RQ1 고차원 데이터에서 차별적(private) 보장 하에 깊은 생성 모델을 훈련하는 것보다 합성 샘플을 직접 최적화하는 것이 성능을 뛰어넘을 수 있는가?
• RQ2 하류 작업으로부터의 분류 피드백을 통합할 경우, 비밀유지 합성 데이터의 유효성은 어느 정도 향상되는가?
• RQ3 제한된 개인정보 보호 예산 하에서 클래스당 합성 샘플 수가 증가함에 따라 이 방법은 어떻게 스케일링되는가?
• RQ4 소수의 합성 샘플로도 전체 생성 모델과 비교해 유사하거나 더 높은 하류 성능을 달성할 수 있는가? 이는 메모리 및 계산 비용 절감에도 기여하는가?
• RQ5 사전 훈련된 이미지 사전 지식을 사용할 경우, 비밀유지 합성 샘플의 품질과 일반화 능력은 향상되는가?

주요 결과

• 제안된 방법은 (ε,δ) = (10,10⁻⁵) 조건에서 클래스당 20개의 샘플만으로 MNIST에서 95.6%의 테스트 정확도, 패션-MNIST에서 77.7%의 정확도를 달성하여, 최고 수준의 비밀유지 생성 모델보다 최대 10% 높은 하류 작업 정확도를 기록한다.
• 클래스당 샘플 수가 적은 경우(예: 1개 또는 10개)에도 불구하고, 이 방법은 강력한 샘플 효율성을 보이며, 하류 분류 성능 향상을 입증한다.
• DCGAN 기반의 이미지 사전 지식을 통합할 경우 성능이 더욱 향상되어, 클래스당 10개의 샘플로 MNIST에서 88.2%의 정확도, 패션-MNIST에서 70.2%의 정확도를 달성한다.
• 샘플 복잡도 증가에 대해 뚜렷한 강건성을 보이며, 클래스당 50개의 샘플을 사용해도 높은 성능 유지를 유지하지만, 저비용 개인정보 보호 예산 하에서는 수렴 속도가 느려진다.
• 소수의 대표성 있는 합성 샘플에 데이터 지식을 압축함으로써 메모리 및 계산 비용을 크게 절감하여 실용적 구현 가능성을 높인다.
• 결과적으로 기존의 복잡한 비밀유지 생성 모델 훈련 방식을 뒤집는다. 하류 분석을 위한 직접적인 샘플 최적화와 작업 피드백이 더 효과적이고 효율적임을 보여준다.