[논문 리뷰] Private Synthetic Data for Multitask Learning and Marginal Queries

Giuseppe Vietri, Cédric Archambeau외 7명|arXiv (Cornell University)|2022. 09. 15.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

이 논문은 이산화가 필요 없는 혼합형 분류 및 수치형 특성(특성 유형 혼합)을 직접 처리하는 차별적(private) 합성 데이터 생성 알고리즘인 RAP++를 제안한다. 이는 온도 조절 시그모이드 안내법(tempered sigmoid annealing)과 무작위 선형 투영(random linear projections)을 사용하여 근사 모멘트 매칭(moment-matching)을 가능하게 하여 근사 모멘트 매칭을 위한 근사 모멘트 매칭을 가능하게 하며, 근사 모멘트 매칭을 위한 근사 모멘트 매칭을 가능하게 하여 정확한 모멘트 매칭을 실현한다. RAP++는 이전 방법들에 비해 2–5배 빠른 런타임과 더불어, 특히 수치형 특성이 예측력이 있을 경우, 근사 모멘트 매칭 및 선형 분류기 학습에서 뛰어난 정확도를 달성한다.

ABSTRACT

We provide a differentially private algorithm for producing synthetic data simultaneously useful for multiple tasks: marginal queries and multitask machine learning (ML). A key innovation in our algorithm is the ability to directly handle numerical features, in contrast to a number of related prior approaches which require numerical features to be first converted into {high cardinality} categorical features via {a binning strategy}. Higher binning granularity is required for better accuracy, but this negatively impacts scalability. Eliminating the need for binning allows us to produce synthetic data preserving large numbers of statistical queries such as marginals on numerical features, and class conditional linear threshold queries. Preserving the latter means that the fraction of points of each class label above a particular half-space is roughly the same in both the real and synthetic data. This is the property that is needed to train a linear classifier in a multitask setting. Our algorithm also allows us to produce high quality synthetic data for mixed marginal queries, that combine both categorical and numerical features. Our method consistently runs 2-5x faster than the best comparable techniques, and provides significant accuracy improvements in both marginal queries and linear prediction tasks for mixed-type datasets.

연구 동기 및 목표

• 이산화된 고카디널리티의 분류형 범주형 변수로 변환되어야 하는 이전의 비밀유지 합성 데이터 방법의 한계를 해결하기 위해, 수치형 특성을 이산화하는 것을 요구하는 문제를 해결한다. 이는 확장성과 정확도에 악영향을 미친다.
• 이산화 없이도 혼합형 쿼리—특히 혼합 모멘트 및 클래스 조건부 선형 임계값 함수—에 대해 직접적으로 미분 가능한 최적화를 가능하게 한다.
• 비밀유지하면서도 하류 기계학습에 필수적인 통계적 관계를 유지하는 확장 가능한, 미분 가능한 최적화 프레임워크를 개발한다.
• 실제 세계의 수치형 특성이 많은 데이터셋에 대해 비밀유지 합성 데이터 생성의 효율성과 정확도를 향상시킨다.
• 수치형 특성을 직접 처리함으로써 근사 모멘트 매칭 및 모델 학습 정밀도에서 뚜렷한 성능 향상이 이루어진다는 것을 입증한다.

제안 방법

• RAP 프레임워크의 확장으로, 근사 모멘트 매칭을 위한 미분 가능한 최적화를 통해 직접적으로 혼합형 분류 및 수치형 특성을 처리하는 RAP++를 도입한다.
• 두 가지 핵심 쿼리 유형을 정의한다: 혼합 모멘트(혼합형 특성 유형의 공동 분포)와 클래스 조건부 선형 임계값 함수(선형 분류기 성능 유지를 위한 것).
• 선형 임계값 쿼리에서 비미분 가능한 임계값 함수에 대해 시그모이드 근사를 적용하며, 매끄럽고 미분 가능한 대체 함수로 $ \frac{1}{1 + \exp(-\sigma(x - b))} $ 를 사용한다.
• 온도 조절 시그모이드 안내법(tempered sigmoid annealing)을 구현한다: 기울기 노름에 기반해 역온도 $ \sigma $ 를 동적으로 증가시켜 근사 정밀도와 최적화 안정성의 균형을 이룬다.
• 고차원 혼합형 특성 공간에서의 효율적 표현 및 최적화를 위해 임의의 선형 투영 쿼리를 사용한다.
• 차별적 비밀유지 조건 하에서 합성 데이터 생성을 위한 엔드 투 엔드 최적화에 확률적 경량 최적화(Stochastic Gradient Descent, SGD) 또는 Adam을 활용한다.

실험 결과

연구 질문

• RQ1 이산화 없이도 차별적(private) 합성 데이터 생성 방법이 분류형 및 수치형 특성을 혼합한 근사 모멘트 매칭 쿼리를 유지할 수 있는가?
• RQ2 클래스 조건부 선형 임계값 쿼리에서 비미분 가능한 임계값 함수를 효과적으로 근사하여, 비밀유지 합성 데이터 생성에서 미분 가능한 최적화를 가능하게 할 수 있는가?
• RQ3 시그모이드 근사의 급격함을 조절하는 온도 조절 시그모이드 안내법을 통해 최적화의 안정성과 정확도가 향상되는가? 특히 고정된 최적의 $ \sigma $ 가 없는 상황에서.
• RQ4 이산화 기반 접근법과 비교했을 때, 수치형 특성을 직접 처리하는 것이 런타임과 정확도에 얼마나 큰 영향을 미치는가? 특히 쿼리 제공 및 하류 기계학습 작업에서.
• RQ5 RAP++가 생성한 비밀유지 합성 데이터는 기존의 비밀유지 기반 대비 더 정확한 선형 분류기를 학습시킬 수 있는가? 특히 수치형 특성이 예측력이 있을 경우.

주요 결과

• RAP++는 US 인구 조사 데이터셋에서 PGM, DP-CTGAN, DP-MERF보다 혼합 모멘트 쿼리 및 클래스 조건부 선형 임계값 쿼리의 유지에서 뛰어난 성능을 보이며, 특히 낮은 비밀유지 예산($ \epsilon \leq 1 $)에서 두드러진다.
• RAP++는 비교 가능한 최고의 방법인 PGM보다 2–5배 더 빠른 런타임을 달성했으며, 모든 평가된 데이터셋과 비밀유지 수준에서 뚜렷한 속도 향상을 보였다.
• 단일 작업 학습에서, RAP++는 $ \epsilon = 0.15 $ 와 $ \epsilon = 1 $ 에서 세 가지 ACS 단일 작업 데이터셋(예: 소득, 고용, 보험)에서 모든 기준보다 높은 F1 점수를 확보했으며, 비공개 기준 기준에 매우 가까운 성능을 유지했다.
• 다중 작업 학습에서, RAP++는 수치형 특성이 예측력이 있는 소득 예측 작업에서 PGM을 크게 앞서며, 특히 작은 $ \epsilon $ 에서 더 높은 F1 점수를 기록했다.
• 수치형 특성이 덜 예측력이 있는 작업(예: 고용)에서는 PGM이 약간 더 뛰어난 성능을 보였지만, RAP++는 여전히 경쟁 가능한 성능과 뛰어난 런타임을 확보했다.
• 선형 모델에서 강력한 성능을 보였음에도 불구하고, RAP++가 생성한 합성 데이터로 학습된 더 복잡한 모델은 선형 모델 성능을 초월하지 못했으며, 이는 비밀유지 합성 데이터에서 비선형 학습을 가능하게 하는 데 여전히 격차가 있음을 시사한다.