[논문 리뷰] Private Stochastic Convex Optimization with Optimal Rates

Raef Bassily, Vitaly Feldman외 2명|arXiv (Cornell University)|2019. 01. 01.

Stochastic Gradient Optimization Techniques인용 수 56

한 줄 요약

이 논문은 미분적 비밀보장성 있는 확률적 볼록 최적화(DP-SCO)에서 최적의 초과 인구 손실률을 규명하여, 이가 로그 요인을 제외한 비민감한 경우의 $1/\sqrt{n}$ 비율과 일치함을 보여준다. 알고리즘 안정성과 기존의 민감한 알고리즘을 개선함으로써, 저자들은 오랫동안 존재했던 민감한 및 비민감한 SCO 성능 간 격차를 메운다.

ABSTRACT

We study differentially private (DP) algorithms for stochastic convex optimization (SCO). In this problem the goal is to approximately minimize the population loss given i.i.d.~samples from a distribution over convex and Lipschitz loss functions. A long line of existing work on private convex optimization focuses on the empirical loss and derives asymptotically tight bounds on the excess empirical loss. However a significant gap exists in the known bounds for the population loss. We show that, up to logarithmic factors, the optimal excess population loss for DP algorithms is equal to the larger of the optimal non-private excess population loss, and the optimal excess empirical loss of DP algorithms. This implies that, contrary to intuition based on private ERM, private SCO has asymptotically the same rate of $1/\sqrt{n}$ as non-private SCO in the parameter regime most common in practice. The best previous result in this setting gives rate of $1/n^{1/4}$. Our approach builds on existing differentially private algorithms and relies on the analysis of algorithmic stability to ensure generalization.

연구 동기 및 목표

• 미분적 비밀보장성 있는 확률적 볼록 최적화(DP-SCO)에서 초과 인구 손실에 대한 알려진 경계와 비민감한 SCO 간 격차를 좁히기.
• 실제 파rameter 설정에서 민감한 SCO가 비민감한 SCO와 동일한 수렴 속도를 갖는지 여부를 규명하기.
• DP 알고리즘에 대한 최적 초과 인구 손실에 대한 날카로운 경계를 설정하여 민감한 최적화 분야의 열린 질문을 해결하기.

제안 방법

• 저자들은 알고리즘 안정성이라는 핵심 도구를 활용하여, 다양한 민감한 알고리즘의 일반화 성질을 분석한다. 이는 인구 손실를 제한하는 데 핵심적인 역할을 한다.
• 기존의 민감한 최적화 알고리즘을 기반으로 하되, 더 날카로운 일반화 보장을 얻기 위해 분석을 정교화한다.
• 이 접근법은 초과 인구 손실를 비민감한 최적 비율과 민감한 알고리즘의 최적 초과 경험 손실에 모두 연결한다.
• 알려진 민감한 경험 리스크 최소화 결과와 안정성 분석을 조합함으로써, 최적 인구 손실 비율의 날카로운 특성화를 도출한다.
• 최적 초과 인구 손실가 두 항의 최댓값임을 보여주며, 이는 비민감한 최적 비율과 민감한 경험 손실 비율이다.
• 분석은 표준 가정 하에 수행되며, 이는 볼록이고 리프시츠 손실 함수, 분포로부터의 i.i.d. 표본을 포함한다.

실험 결과

연구 질문

• RQ1 미분적 비밀보장성 있는 확률적 볼록 최적화의 최적 초과 인구 손실 비율은 무엇인가?
• RQ2 실제 설정에서 민감한 SCO는 비민감한 SCO와 동일한 $1/\sqrt{n}$ 수렴 속도를 물려받는가?
• RQ3 민감한 SCO의 최적 초과 인구 손실는 민감한 알고리즘의 최적 초과 경험 손실과 어떻게 비교되는가?
• RQ4 알고리즘 안정성은 민감한 SCO에서 일반화 오차를 날카롭게 특성화하는 데 사용될 수 있는가?
• RQ5 민감한 및 비민감한 SCO 비율 사이에 본질적인 격차가 존재하는가, 아니면 민감한 알고리즘이 동일한 渐近 비율을 달성할 수 있는가?

주요 결과

• 민감한 확률적 볼록 최적화(DP-SCO)의 최적 초과 인구 손실는 로그 요인을 제외한 비민감한 최적 초과 인구 손실와 민감한 알고리즘의 최적 초과 경험 손실의 최댓값과 같다.
• 민감한 SCO의 초과 인구 손실 비율은 비민감한 비율인 $1/\sqrt{n}$과 일치하며, 오랫동안 남아있던 열린 질문을 해결한다.
• 이 결과는 표준 $n$-샘플 설정에서 민감한 SCO가 비민감한 SCO보다 악화된 渐近 비율을 겪지 않음을 시사한다.
• 이전까지 알려진 민감한 SCO의 최선 비율은 $1/n^{1/4}$였으며, 이는 $1/\sqrt{n}$보다 훨씬 느린 속도였다.
• 분석은 민감한 및 비민감한 SCO 비율 간 격차가 본질적인 것이 아니며, 이는 이전 알고리즘 및 분석적 제약의 결과임을 보여준다.
• 이 연구는 알고리즘 안정성이 민감한 SCO에서 날카로운 일반화 경계를 달성하는 데 충분함을 입증하며, 최적 비율 도출에 기여한다.