[논문 리뷰] Revisiting differentially private linear regression: optimal and adaptive prediction & estimation in unbounded domain

Yu-Xiang Wang|arXiv (Cornell University)|2018. 01. 01.

Privacy-Preserving Technologies in Data참고 문헌 2인용 수 31

한 줄 요약

이 논문은 데이터에 의존하는 양상에 따라 노이즈를 동적으로 校정하는 적응형 미분적 비밀보장 선형 회귀 알고리즘인 AdaOPS와 AdaSSP를 제안한다. 이는 수동적인 초모수 조정 없이 다양한 데이터셋에서 거의 최적의 성능을 달성한다. 시뮬레이션 및 실세계 데이터에서 기존 기법들보다 훨씬 우수한 프라이버시-유용성 트레이드오프를 달성하며, 36개의 UCI 데이터셋에서 모든 베이스라인을 능가한다.

ABSTRACT

We revisit the problem of linear regression under a differential privacy constraint. By consolidating existing pieces in the literature, we clarify the correct dependence of the feature, label and coefficient domains in the optimization error and estimation error, hence revealing the delicate price of differential privacy in statistical estimation and statistical learning. Moreover, we propose simple modifications of two existing DP algorithms: (a) posterior sampling, (b) sufficient statistics perturbation, and show that they can be upgraded into **adaptive** algorithms that are able to exploit data-dependent quantities and behave nearly optimally **for every instance**. Extensive experiments are conducted on both simulated data and real data, which conclude that both AdaOPS and AdaSSP outperform the existing techniques on nearly all 36 data sets that we test on.

연구 동기 및 목표

• 최적화 및 추정 오차 의존성에 대한 문헌을 통합하여 선형 회귀에서 미분적 비밀보장의 이론적 가격을 명확히 하기 위해.
• 기존의 두 DP 알고리즘—One Posterior Sample (OPS) 및 Sufficient Statistics Perturbation (SSP)—의 적응형 버전을 개발하여 데이터 특성에 따라 자동으로 노이즈를 조정하기 위해.
• 실세계 회귀 데이터셋의 광범위한 범위에서 적응형 알고리즘인 AdaOPS 및 AdaSSP가 비적응형 및 고정된 초모수 방법보다 뛰어난 성능을 보임을 경험적으로 검증하기 위해.
• 데이터 도메인이나 최악의 경우 경계에 대한 사전 지식이 필요 없이, 각 사례에서 최적 또는 거의 최적의 성능을 달성하는 실용적이고 초모수 없는 프레임워크를 제공하기 위해.

제안 방법

• One Posterior Sample (OPS)의 적응형 변형인 AdaOPS를 제안하며, 지역 리프시츠 상수 및 계수 크기의 데이터 기반 추정치를 사용하여 정규화 파라미터 λ와 노이즈 스케일 γ를 자동으로 선택한다.
• Sufficient Statistics Perturbation (SSP)의 적응형 버전인 AdaSSP를 도입하며, 데이터의 경험적 공분산과 레이블 분산에 기반해 노이즈 수준을 동적으로 조정한다.
• pDP(프라이버시-분포) 분석을 활용하여 최적 해 θ∗λ에서의 지역 리프시츠 상수를 기반으로 (ϵ, δ)-DP 보장을 유도하며, 전역 경계에 의존하지 않는다.
• 예측 오차의 상한을 최소화함으로써 프라이버시와 유용성을 균형 잡는 캘리브레이션된 노이즈 메커니즘을 사용하며, γ와 λ는 추정 오차 및 최적화 오차 항의 합을 최소화하도록 선택된다.
• 특정 데이터 통계인 ∥X∥, ∥Y∥, 및 ∥θ∗∥를 활용하여 고정된 초모수를 피하는 새로운 캘리브레이션 전략을 적용하여 λ 및 γ를 적응적으로 설정한다.
• 두 단계 노이즈 캘리브레이션을 적용한다: 첫 번째로, 예측 오차 상한을 최소화하도록 λ를 선택하고, 두 번째로, 선택된 λ에 기반해 (ϵ, δ)-DP를 만족하도록 γ를 설정한다.

실험 결과

연구 질문

• RQ1 미분적 비밀보장 하에서 최적화 오차 및 추정 오차의 최적 의존성은 특성, 레이블, 계수 도메인에 대해 어떻게 되는가?
• RQ2 기존의 미분적 비밀보장 선형 회귀 알고리즘은 데이터 기반 양상에 어떻게 적응시킬 수 있으며, 수동적인 초모수 조정 없이도 가능할까?
• RQ3 지역 데이터 통계에 기반한 적응형 노이즈 캘리브레이션은 고정된 초모수 방법에 비해 향상된 프라이버시-유용성 트레이드오프를 이끌 수 있는가?
• RQ4 다양한 스케일과 분포를 가진 실세계 데이터셋에서 AdaOPS 및 AdaSSP와 같은 적응형 알고리즘의 이론적 및 경험적 성능은 어떠한가?
• RQ5 노이즈 캘리브레이션 전략의 선택(예: 집중형 대 비산산형)은 어떻게 다양한 비밀보장 선형 회귀의 유용성에 영향을 미치는가?

주요 결과

• AdaOPS 및 AdaSSP는 UCI 저장소의 36개 실세계 회귀 데이터셋에서 11개의 모든 기준 방법보다 뛰어나며, '균형 잡힌' 캘리브레이션 전략이 가장 강력한 성능을 보였다.
• 균형 잡힌 AdaOPS 접근법은 O(d^{1/3} n^{1/3} log(1/δ)^{1/3} ∥X∥^{4/3} ∥Y∥^{2/3} ∥θ∗∥^{4/3} / ϵ^{2/3})의 예측 오차 상한을 달성하며, 프라이버시-유용성 트레이드오프에서 거의 최적성을 입증한다.
• Figure 5에 나타낸 바와 같이, OPS에 대한 '집중형' 및 '균형 잡힌' 캘리브레이션 전략은 '산산산형' 및 '보수형' 접근법보다 훨씬 뛰어난 유용성을 보였다.
• 적응형 알고리즘들은 전역적인 매개변수 공간의 경계가 필요 없이 (ϵ, δ)-미분적 비밀보장을 달성하며, 최적 해에서의 지역 리프시츠 상수에 의존한다.
• 제안된 방법은 사용자가 최악의 경우 데이터 가정에 기반해 프라이버시 매개변수를 설정할 필요 없이 자동으로 최적의 성능을 달성할 수 있도록 한다.
• 경험적 결과는 AdaSSP 및 AdaOPS가 기존 기법보다 더 나은 프라이버시-유용성 트레이드오프를 달성하며, 테스트된 36개 모든 데이터셋에서 일관된 향상을 보였다.