[논문 리뷰] Private Empirical Risk Minimization Beyond the Worst Case: The Effect of the Constraint Set Geometry

Kunal Talwar, Abhradeep Thakurta외 1명|arXiv (Cornell University)|2014. 11. 20.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 31

한 줄 요약

이 논문은 제약집합의 기하적 구조를 활용하여 상당히 향상된 오차 한계를 달성하는 차별적(private) 경험 위험 최소화(ERM) 프레임워크를 제안한다. 사전적 미러 하강(private Mirror Descent)를 사용함으로써, 저자들은 초과 위험(excess risk)이 차원성 $p$ 대신 가우시안 폭 $G_{\mathcal{C}}$에 비례함을 보여주며, 리프시츠 손실 함수에 대해 $\tilde{O}(G_{\mathcal{C}}/n)$의 오차 한계를 도출하고, $\ell_1$-유계 제약 조건에 대해서는 $\tilde{O}(n^{-2/3})$의 오차를 얻으며, 이는 최적성에 가까운 하한선을 함께 제시한다.

ABSTRACT

Empirical Risk Minimization (ERM) is a standard technique in machine learning, where a model is selected by minimizing a loss function over constraint set. When the training dataset consists of private information, it is natural to use a differentially private ERM algorithm, and this problem has been the subject of a long line of work started with Chaudhuri and Monteleoni 2008. A private ERM algorithm outputs an approximate minimizer of the loss function and its error can be measured as the difference from the optimal value of the loss function. When the constraint set is arbitrary, the required error bounds are fairly well understood \cite{BassilyST14}. In this work, we show that the geometric properties of the constraint set can be used to derive significantly better results. Specifically, we show that a differentially private version of Mirror Descent leads to error bounds of the form $ ilde{O}(G_{\mathcal{C}}/n)$ for a lipschitz loss function, improving on the $ ilde{O}(\sqrt{p}/n)$ bounds in Bassily, Smith and Thakurta 2014. Here $p$ is the dimensionality of the problem, $n$ is the number of data points in the training set, and $G_{\mathcal{C}}$ denotes the Gaussian width of the constraint set that we optimize over. We show similar improvements for strongly convex functions, and for smooth functions. In addition, we show that when the loss function is Lipschitz with respect to the $\ell_1$ norm and $\mathcal{C}$ is $\ell_1$-bounded, a differentially private version of the Frank-Wolfe algorithm gives error bounds of the form $ ilde{O}(n^{-2/3})$. This captures the important and common case of sparse linear regression (LASSO), when the data $x_i$ satisfies $|x_i|_{\infty} \leq 1$ and we optimize over the $\ell_1$ ball. We show new lower bounds for this setting, that together with known bounds, imply that all our upper bounds are tight.

연구 동기 및 목표

• 최악의 차원성에 의존하는 것 대신 제약집합의 기하적 성질을 활용하여 비밀유지 ERM의 초과 위험 한계를 향상시키는 것.
• 제약집합 $\mathcal{C}$의 가우시안 폭 $G_{\mathcal{C}}$가 개인정보-유용성 트레이드오프를 기술하는 데 차원 $p$보다 더 정교한 척도임을 보여주는 것.
• 리프시츠 손실 함수에 대해 $\tilde{O}(G_{\mathcal{C}}/n)$의 초과 위험을 달성하는 비밀유지 미러 하강 알고리즘을 개발하는 것.
• 강凸성과 미세성 조건을 만족하는 손실 함수로의 분석 확장을 통해 유사한 향상을 보여주는 것.
• $\ell_1$-유계 제약 조건을 다루기 위해 비밀유지 프랭크-울프 알고리즘을 사용하여 $\tilde{O}(n^{-2/3})$ 오차를 달성하고, 일치하는 하한선을 통해 정확도를 증명하는 것.

제안 방법

• 제약집합 $\mathcal{C}$의 기하학적 성질을 그 가우시안 폭 $G_{\mathcal{C}}$를 통해 반영하는 비밀유지 미러 하강의 새로운 버전을 제안한다.
• 초과 위험의 상한을 유도하기 위한 핵심 매개변수로 가우시안 폭 $G_{\mathcal{C}} = \mathbb{E}_{g \sim \mathcal{N}(0,1)^p}[\sup_{\theta \in \mathcal{C}} \langle \theta, g \rangle]$를 사용한다.
• 리프시츠 손실 함수에 대해 $\tilde{O}(G_{\mathcal{C}}/n)$ 형태의 초과 위험 상한을 확립하며, 이는 이전의 $\tilde{O}(\sqrt{p}/n)$ 상한보다 향상됨을 보여준다.
• 손실 함수가 $\ell_1$-리프시츠이고 제약집합 $\mathcal{C}$가 $\ell_1$-유계일 경우, 비밀유지 프랭크-울프 알고리즘을 사용하여 $\tilde{O}(n^{-2/3})$ 오차를 달성한다.
• $\ell_1$-유계 케이스에 대해 $\Omega(n^{-2/3}/\log^{2/3}n)$의 일치하는 하한선을 증명하며, 알고리즘이 거의 최적임을 보여준다.
• 하한선을 증명하기 위해 공통 기둥과 직교 벡터를 사용하는 딱딱한 사례를 구성하며, 부호 일致성(sign agreement)과 농도 집중 집합론적 추론에 의존한다.

실험 결과

연구 질문

• RQ1 제약집합 $\mathcal{C}$의 기하적 구조를 활용하여, 최악의 차원성보다 더 나은 초과 위험 한계를 비밀유지 ERM에서 달성할 수 있는가?
• RQ2 가우시안 폭 $G_{\mathcal{C}}$가 환경 차원 $p$보다 개인정보-유용성 트레이드오프를 더 정교하게 기술하는 데 효과적인가?
• RQ3 비밀유지 미러 하강이 리프시츠 손실 함수에 대해 $\tilde{O}(G_{\mathcal{C}}/n)$의 초과 위험을 달성할 수 있는가?
• RQ4 제약집합이 $\ell_1$-유계이고 손실 함수가 $\ell_1$-리프시츠일 경우, 비밀유지 ERM의 최적 초과 위험은 무엇인가?
• RQ5 $\ell_1$-유계 케이스에서 $\tilde{O}(n^{-2/3})$ 오차 상한이 로그 인자들을 제외한 범위에서 정확한가?

주요 결과

• 리프시츠 손실 함수에 대해 비밀유지 ERM의 초과 위험은 제약집합의 가우시안 폭 $G_{\mathcal{C}}$에 대해 $\tilde{O}(G_{\mathcal{C}}/n)$으로 상한이 설정되며, 이는 이전 연구에서의 $\tilde{O}(\sqrt{p}/n)$ 상한보다 상당히 향상됨을 보여준다.
• 강凸성과 미세성 조건을 만족하는 손실 함수에 대해서도, 비밀유지 미러 하강 프레임워크를 제약집합 $\mathcal{C}$의 기하학적 성질에 맞게 조정함으로써 유사한 초과 위험 향상을 달성한다.
• 손실 함수가 $\ell_1$-리프시츠이고 제약집합 $\mathcal{C}$가 $\ell_1$-유계일 경우, 비밀유지 프랭크-울프 알고리즘이 초과 위험 $\tilde{O}(n^{-2/3})$을 달성한다.
• $\ell_1$-유계 케이스에 대해 $\Omega(n^{-2/3}/\log^{2/3}n)$의 일치하는 하한선이 증명되었으며, 이는 비밀유지 프랭k-울프 알고리즘이 거의 최적임을 보여준다.
• 분석을 통해 제약집합 $\mathcal{C}$의 기하적 성질, 예를 들어 희박성 또는 낮은 가우시안 폭은 차원성 기반 상한보다 더 나은 개인정보-유용성 트레이드오프를 달성하는 데 활용될 수 있음을 보여준다.
• 공동 기둥과 직교 벡터를 포함하는 딱딱한 사례 구성 덕분에, 부호 일치성과 농도 집중 추론을 통해 하한선의 정확도가 입증되었다.