[논문 리뷰] The Cost of Privacy in Generalized Linear Models: Algorithms and Minimax Lower Bounds

Tianxi Cai, Yichen Wang외 1명|arXiv (Cornell University)|2020. 11. 08.

Privacy-Preserving Technologies in Data참고 문헌 51인용 수 12

한 줄 요약

이 논문은 노이즈가 첨가된 투영 경사하강법과 반복적 하드 타이밍을 사용하여 일반선형모형(GLMs)의 매개변수 추정을 위한 비밀성 보장 알고리즘을 제안한다. 새로운 스텐의 보조정리 기반 기법을 통해 비밀성 제약 조건 하의 최소최대 하한을 유도함으로써 근사적으로 최적의 통계 성능을 확립하며, 알고리즘이 샘플 크기와 차원 수에 대해 로그 인자까지 최적의 속도를 달성함을 보여준다.

ABSTRACT

We propose differentially private algorithms for parameter estimation in both low-dimensional and high-dimensional sparse generalized linear models (GLMs) by constructing private versions of projected gradient descent. We show that the proposed algorithms are nearly rate-optimal by characterizing their statistical performance and establishing privacy-constrained minimax lower bounds for GLMs. The lower bounds are obtained via a novel technique, which is based on Stein's Lemma and generalizes the tracing attack technique for privacy-constrained lower bounds. This lower bound argument can be of independent interest as it is applicable to general parametric models. Simulated and real data experiments are conducted to demonstrate the numerical performance of our algorithms.

연구 동기 및 목표

• 비밀성 제약 조건 하에서 통계 정확도를 유지하는 일반선형모형(GLMs)의 매개변수 추정을 위한 비밀성 보장 알고리즘을 개발한다.
• 제안된 알고리즘의 통계 최적성 평가를 위해 GLM 매개변수 추정에 대한 비밀성 제약 조건 하의 최소최대 하한을 수립한다.
• 단순한 모델(예: 평균 추정 또는 선형 회귀)을 넘어서 일반선형모형(GLMs)의 광범위한 클래스로 비밀성-정확도 트레이드오프 분석을 확장한다.
• 희소성 가정 하에 고차원 비밀성 보장 GLM 추정이 가능함을 보이며, 국소 비밀성 보장 하에서는 불가능성 결과와 대비시킨다.

제안 방법

• 기울기에 노이즈를 첨가하여 $(\varepsilon,\delta)$-비밀성 보장이 보장되는 사전적 투영 경사하강법 알고리즘(알고리즘 1)을 구성한다.
• 반복적 하드 타이밍 프레임워크를 고차원 희소 GLMs에 적응시켜 노이즈와 희소성 제약 조건을 통합함으로써 비밀성과 수렴성을 유지한다.
• 일반적인 파rametric 모델에 적용 가능한 추적 공격 방법을 일반화하기 위해 스텐의 보조정리 기반의 새로운 하한 기법을 활용한다.
• 저차원 및 고차원 GLM 설정 모두에 대해 비밀성 제약 조건 하의 최소최대 하한을 도출하여 제안된 알고리즘의 이론적 최적성을 확립한다.
• 집중 불등식과 모멘트 한계를 활용하여 비밀성 보장 하에서의 기대 $\ell_2$ 추정 오차를 분석한다.
• GLMs의 스코어 함수와 피셔 정보 구조를 활용하여 비밀성 제약 조건 하에서의 매개변수 추정 오차에 대한 한계를 유도한다.

실험 결과

연구 질문

• RQ1 GLMs에서 비밀성 보장 매개변수 추정이 근사적으로 최적의 통계 정확도를 달성할 수 있는가?
• RQ2 GLMs에서 비밀성과 추정 정확도 사이의 근본적 트레이드오프는 무엇이며, 샘플 크기와 차원 수에 따라 어떻게 척도화되는가?
• RQ3 고차원 희소 GLMs에서 비밀성 보장 추정이 유지될 수 있는가? 그리고 희소성이 비밀성 비용을 줄이는 데 어떤 역할을 하는가?
• RQ4 기존의 추적 공격 방법을 초월하는 새로운 기법을 사용하여 비밀성 제약 조건 하의 GLM 추정에 대한 최소최대 하한을 어떻게 유도할 수 있는가?

주요 결과

• 제안된 노이즈가 첨가된 투영 경사하강법 알고리즘은 저차원 GLMs에서 $\ell_2$ 추정 오차를 $\tilde{O}\left(\frac{d^{2}\log(1/\delta)}{n^{2}\varepsilon^{2}}\right)$로 달성한다.
• 희소성 $s^*$를 가지는 고차원 희소 GLMs에 대해 노이즈가 첨가된 반복적 하드 타이밍 알고리즘은 $\ell_2$ 오차를 $\tilde{O}\left(\frac{(s^{*}\log d)^{2}\log(1/\delta)}{n^{2}\varepsilon^{2}}\right)$로 달성하며, 이는 희소성에 대해 선형적이고 차원에 대해 로그적 의존성을 보인다.
• 스텐의 보조정리 기반 기법을 통해 도출된 최소최대 하한은 상한과 로그 인자까지 일치하여 제안된 알고리즘의 근사 최적성을 입증한다.
• 이 하한 기법은 추적 공격을 일반화하며, GLMs를 초월한 일반적인 파rametric 모델에 적용 가능하여 더 넓은 이론적 유용성을 시사한다.
• 시뮬레이션 및 실데이터 실험을 통해 제안된 비밀성 보장 알고리즘의 수치적 성능와 실용적 타당성을 확인한다.