[논문 리뷰] Mitigating Statistical Bias within Differentially Private Synthetic Data

Sahra Ghalebikesabi, Harrison Wilde외 4명|arXiv (Cornell University)|2021. 08. 24.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 차별적 비밀보장(ϵ, δ)-차별적 비밀보장(ϵ, δ)-제약 조건 하에 생성된 합성 데이터에서 통계적 편향을 완화하기 위해, 차별적 비밀보장(ϵ, δ)-확률 비율을 사용하는 후처리 재가중 전략을 제안한다. 비편향된 DP 중요도 가중치, DP-SGD의 가중치 추정을 위한 조정, 그리고 개인정보 침해가 없는 가중치로 디스크림ิน레이터 출력을 활용함으로써, 추가적인 개인정보 비용 없이도 빈도주의 및 베이지안 추론 작업 전반에서 하류 모델의 유효성을 크게 향상시킨다.

ABSTRACT

Increasing interest in privacy-preserving machine learning has led to new and evolved approaches for generating private synthetic data from undisclosed real data. However, mechanisms of privacy preservation can significantly reduce the utility of synthetic data, which in turn impacts downstream tasks such as learning predictive models or inference. We propose several re-weighting strategies using privatised likelihood ratios that not only mitigate statistical bias of downstream estimators but also have general applicability to differentially private generative models. Through large-scale empirical evaluation, we show that private importance weighting provides simple and effective privacy-compliant augmentation for general applications of synthetic data.

연구 동기 및 목표

• 차별적 비밀보장(ϵ, δ)-제약 하에 생성된 합성 데이터를 기반으로 훈련된 하류 추정기에서 발생하는 통계적 편향을 해결하기 위해.
• 특정 방법에 종속되지 않고 다양한 DP 생성 모델에 일반적으로 적용 가능한 후처리 기법을 개발하기 위해.
• 합성 데이터의 유효성을 향상시키면서도 차별적 비밀보장(ϵ, δ)-개념을 유지하기 위해.
• 기본 모델에 DP 대체 모델이 존재하지 않는 경우에도 비모수적 부트스트랩을 통한 신뢰구간 추정과 같은 엄밀한 통계 분석이 가능하도록 하기 위해.

제안 방법

• 기존 방법 대비 분산이 감소한 비편향된 DP 중요도 가중치의 새로운 확장 방법을 제안한다.
• 실제 데이터와 합성 데이터로부터 중요도 가중치를 추정하기 위해 신경망 기반 분류기를 훈련하기 위해 샘플링 확률과 노이즈 주입 방식을 수정한 DP-SGD를 적응한다.
• DP-GAN의 디스크림ิน레이터 출력을 중요도 가중치로 활용함으로써 추가적인 개인정보 비용 소모 없이도 효과적인 가중치를 제공한다.
• 동일한 재가중 접근 방식을 사용하여 빈도주의 및 베이지안 추론을 모두 보정하는 프레임워크를 도입한다.
• (ϵ, δ)-차별적 비밀보장(ϵ, δ)-제약 하에서 개인 정보 보호를 유지하면서 중요도 가중치를 계산하기 위해 비밀보장된 가능도 비율 추정을 활용한다.
• 모든 하류 분석이 합성 데이터에서 차별적 비밀보장(ϵ, δ)-유지 보장하기 위해 후처리 정리(Post-processing Theorem)를 적용한다.

실험 결과

연구 질문

• RQ1 합성 데이터에서 훈련된 추정기의 통계적 편향을 효과적으로 줄이기 위해 후처리 재가중 기법을 적용할 수 있는가?
• RQ2 편향 없는 방식으로 중요도 가중치를 추정하면서 분산을 최소화하고 유효성을 유지할 수 있는가?
• RQ3 DP-GAN의 디스크림ิน레이터 출력이 하류 추론을 위한 효과적이고 개인정보 침해가 없는 중요도 가중치로 활용될 수 있는가?
• RQ4 개인정보 보호 중요도 가중치가 분류 및 회귀와 같은 다양한 하류 작업에서 모델 성능을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 프레임워크는 다양한 DP 생성 모델과 데이터 유형에 일반화되는가?

주요 결과

• 제안된 비편향된 DP 중요도 가중치 방법은 기존 방법 대비 편향과 분산을 감소시켜 하류 모델의 성능을 향상시킨다.
• 개인정보 보호 중요도 가중치는 합성 데이터의 유효성을 크게 향상시키며, 일부 설정에서 AUC 점수가 최대 0.13 증가한다 (예: 보정된 PSIS를 사용한 Breast 데이터에서 0.5985 대비 0.4417).
• 디스크림ิน레이터 출력을 중요도 가중치로 사용함으로써 추가 개인정보 비용 없이도 높은 성능을 달성한다 (예: Spam 데이터에서 AUC 0.5997).
• 중요도 가중치를 추정하기 위한 DP-MLP 방법은 뛰어난 성능을 보이며, Credit 데이터에서 ϵ=6, δ=1e−5 조건 하에 WST 값이 0.0003으로 감소한다.
• 실험 결과는 개인 정보 보호 중요도 가중치가 여러 데이터셋(Breast, Spam, Credit)과 모델(SVM, RF, MLP) 전반에서 일관되게 모델 유효성을 향상시킨다는 것을 보여준다.
• 이 방법은 원본 모델에 DP 대체 모델이 존재하지 않는 경우에도 합성 데이터에서 유효한 통계적 추론을 가능하게 하며, 비모수적 부트스트랩을 통한 신뢰구간 추정이 가능하다.