[논문 리뷰] Improved Rates for Differentially Private Stochastic Convex Optimization with Heavy-Tailed Data

Gautam Kamath, Xingtu Liu외 1명|arXiv (Cornell University)|2021. 06. 02.

Privacy-Preserving Technologies in Data참고 문헌 42인용 수 13

한 줄 요약

이 논문은 손실 함수의 리프시츠 조건이 아닌, 기울기가 유한한 k차 모멘트를 가진다 능력이 있는 무거운 尾 끝 데이터를 위한 개선된 차별적(private)로 스위치된 볼록 최적화 알고리즘을 제시한다. 농축된 차별적 개인정보 보호(CDP) 하에서 새로운 비공개 평균 추정 기법을 도입함으로써 더 날카로운 초과 위험 경계를 달성하였으며, 특히 고차원 및 비리프시츠 설정에서 이전 연구에 비해 뚜렷한 향상이 이루어졌다.

ABSTRACT

We study stochastic convex optimization with heavy-tailed data under the constraint of differential privacy (DP). Most prior work on this problem is restricted to the case where the loss function is Lipschitz. Instead, as introduced by Wang, Xiao, Devadas, and Xu \cite{WangXDX20}, we study general convex loss functions with the assumption that the distribution of gradients has bounded $k$-th moments. We provide improved upper bounds on the excess population risk under concentrated DP for convex and strongly convex loss functions. Along the way, we derive new algorithms for private mean estimation of heavy-tailed distributions, under both pure and concentrated DP. Finally, we prove nearly-matching lower bounds for private stochastic convex optimization with strongly convex losses and mean estimation, showing new separations between pure and concentrated DP.

연구 동기 및 목표

• 손실 함수에 대해 강력한 리프시츠 가정에 의존하는 이전의 차별적 개인 정보 보호 스토하스틱 볼록 최적화(DP-SCO) 방법의 한계를 해결하기 위해.
• 기울기가 유한한 k차 모멘트를 가진 경우에 효율적인 알고리즘을 개발하여, 히우리프클리핑 없이도 무거운 꼬리 데이터 분석이 가능하도록 하기 위해.
• 농축된 차별적 개인정보 보호(CDP) 하에서 볼록 및 강력 볼록 손실 함수에 대한 초과 위험 경계를 향상시키기 위해.
• 비공개 평균 추정 및 DP-SCO의 맥락에서 순수 DP와 농축된 DP 간의 새로운 분리 효과를 드러내기 위해 거의 매칭되는 하한선을 수립하기 위해.
• 순수 및 농축된 DP 하에서 중량이 있는 꼬리 분포에 대한 새로운 비공개 평균 추정 알고리즘을 설계하여, 주요 결과의 핵심 원천으로 활용하기 위해.

제안 방법

• 농축된 DP 하에서 k차 모멘트가 유한한 분포에 대해 새로운 비공개 평균 추정 알고리즘을 제안하며, 노이즈 주입 및 강건한 추정 기법을 사용한다.
• 기울기 민감도를 모멘트 기반 경계로 통제함으로써 중량이 있는 꼬리 기울기의 특성에 적응하는 비공개 스토하스틱 경사 하강법(DP-SGD) 변형을 도입한다.
• 커버링 추론 및 농축 불등식을 사용하여 중량이 있는 꼬리 기울기 존재 하에서 추정 오차를 제한한다.
• 반복 최적화에서 기울기 노이즈에 의해 유도되는 편향을 제어하기 위해 마팅게일 차분 수열에 대해 아즈마의 부등식을 사용한다.
• 오차를 통계적, 근사적, 개인정보 보호에 기인한 성분으로 분해하고, 각 성분을 모멘트 및 농축 성질을 사용하여 경계한다.
• 표본 크기와 개인정보 보호 예산 간의 트레이드오프를 최적화하기 위해 위험 경계 내에서 비공개 비용과 공개 비용을 조절하는 파라미터 q를 균형 잡는다.

실험 결과

연구 질문

• RQ1 손실 함수가 리프시츠가 아니지만 기울기가 유한한 k차 모멘트를 가진 경우, 차별적 개인 정보 보호 스토하스틱 볼록 최적화에서 더 낮은 초과 위험 경계를 달성할 수 있는가?
• RQ2 중량이 있는 꼬리 분포에 대한 비공개 평균 추정 알고리즘이 고차원 설정에서 DP-SCO의 유효성을 어떻게 향상시키는가?
• RQ3 농축된 차별적 개인정보 보호 하에서 비공개 평균 추정 및 DP-SCO의 기본 한계는 무엇이며, 순수 DP와 어떻게 다를 수 있는가?
• RQ4 기울기가 중량이 있는 꼬리일 경우, 농축된 DP 하에서 강력 볼록 손실에 대해 더 날카로운 초과 위험 경계를 달성할 수 있는가?
• RQ5 모멘트 조건 하에서 비공개 평균 추정 및 최적화에 대해 순수 DP와 농축된 DP 간의 유효성 측면에서 새로운 분리 효과는 무엇인가?

주요 결과

• 농축된 DP 하에서 볼록 손실에 대해 초과 위험 경계가 Õ(min{d/√n + d²/(εn)·(εn/d³ᐟ²)¹ᐟᵏ, min_{0.5≤q≤2} (d^{(3−q)/2}/√n + d^{(1+q)/2}/(ε^{1/2}√n))})임을 도출하였다.
• 강력 볼록 손실의 경우 초과 위험은 Õ(d/n + d·(√d/(εn))^{2(k−1)/k})로 경계되며, 이는 모멘트 가정 하에서 이전 연구에 비해 향상된 결과이다.
• 제안된 비공개 평균 추정 알고리즘은 순수 및 농축된 DP 하에서 k차 모멘트가 유한한 분포에 대해 최적 또는 거의 최적의 오차율을 달성한다.
• 저자들은 비공개 평균 추정 및 강력 볼록 DP-SCO에 대해 거의 매칭되는 하한선을 증명하였으며, 순수 DP와 농축된 DP 간의 유효성 측면에서 엄격한 분리를 입증하였다.
• 결과적으로 기울기가 중량이 있는 꼬리일 경우, 특히 고차원에서 농축된 DP가 순수 DP보다 훨씬 더 낮은 초과 위험율을 달성할 수 있음을 보여주었다.
• 분석 결과, DP-SCO에서의 개인정보-유용성 트레이드오프는 기울기의 꼬리 행동에 따라 결정되며, 단지 유한성만이 아니라 그 행동에 따라 달라진다.