[논문 리뷰] Noninteractive Locally Private Learning of Linear Models via Polynomial Approximations

Di Wang, Adam Smith외 1명|arXiv (Cornell University)|2018. 12. 17.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

이 논문은 다항식 근사 기법을 활용해 내적을 근사함으로써 비상호작용적 국소적 차별적 프라이버시(LDP) 알고리즘을 제안하며, 허프, 로지스틱 회귀와 같은 일반화된 선형 손실에 대해 차원 $p$에 대해 선형적인 표본 복잡도를 달성한다—이것은 부드럽지 않은 손실에 대해 최적의 $p$-의존성을 갖는 첫 번째 결과이다.

ABSTRACT

Minimizing a convex risk function is the main step in many basic learning algorithms. We study protocols for convex optimization which provably leak very little about the individual data points that constitute the loss function. Specifically, we consider differentially private algorithms that operate in the local model, where each data record is stored on a separate user device and randomization is performed locally by those devices. We give new protocols for \emph{noninteractive} LDP convex optimization---i.e., protocols that require only a single randomized report from each user to an untrusted aggregator. We study our algorithms' performance with respect to expected loss---either over the data set at hand (empirical risk) or a larger population from which our data set is assumed to be drawn. Our error bounds depend on the form of individuals' contribution to the expected loss. For the case of \emph{generalized linear losses} (such as hinge and logistic losses), we give an LDP algorithm whose sample complexity is only linear in the dimensionality $p$ and quasipolynomial in other terms (the privacy parameters $ε$ and $δ$, and the desired excess risk $α$). This is the first algorithm for nonsmooth losses with sub-exponential dependence on $p$. For the Euclidean median problem, where the loss is given by the Euclidean distance to a given data point, we give a protocol whose sample complexity grows quasipolynomially in $p$. This is the first protocol with sub-exponential dependence on $p$ for a loss that is not a generalized linear loss . Our result for the hinge loss is based on a technique, dubbed polynomial of inner product approximation, which may be applicable to other problems. Our results for generalized linear losses and the Euclidean median are based on new reductions to the case of hinge loss.

연구 동기 및 목표

• 비상호작용적 국소적 차별적 프라이버시(LDP) 모델에서 경험적 손실과 인구 손실을 최소화하는 데 도전한다.
• 이전의 LDP 프로토콜이 낮은 표본 복잡도 또는 상호작용 라운드를 요구하는 한계를 극복한다.
• 강력한 프라이버시 보장을 유지하면서 효율적인 비상호작용 선형 모델 학습을 가능하게 하는 방법을 개발한다.
• 허프 손실과 같은 부드럽지 않은 경우를 포함한 일반화된 선형 손실에 대해 최적 또는 근접한 최적의 표본 복잡도를 달성한다.
• LDP 환경에서 적용 가능한 일반적인 프레임워크를 제공한다—여기서 손실 함수는 볼록이고 1-Lipschitz이다.

제안 방법

• 손실 함수 $f(y\langle w,x\rangle)$를 낮은 차수의 다항식을 사용해 근사하는 데 사용되는 새로운 기법인 '내적의 다항식 근사'를 도입한다.
• 원래 손실 함수 $f(\theta)$를 오차 $O(\beta)$로 근사하는 서브티튜트 함수 $F_\beta(\theta)$를 구성하며, 이 함수는 $O(1/\beta)$-스무쓰하고 $O(1)$-Lipschitz이다.
• 랜덤라이즈드 리스폰스와 노이즈 주입을 사용해 각 사용자로부터 내적 $\langle w,x_i \rangle$의 다항식 모멘트를 프라이빗하게 계산한다.
• 기능적 근사를 통해 일반화된 선형 손실을 허프 손실의 경우로 환원함으로써 다항식 근사 프레임워크의 재사용을 가능하게 한다.
• 각 사용자가 집계자에게 단일의 랜덤라이즈드 보고서를 전송하는 비상호작용 프로토콜을 설계하여 반복적 통신을 피한다.
• 집중 불등식과 분산 한계를 활용해 서브티튜트 함수의 추정된 기울기가 높은 확률로 진짜 기울기로 수렴하도록 보장한다.

실험 결과

연구 질문

• RQ1 부드럽지 않은 손실에 대해 차원 $p$에 대해 선형적인 표본 복잡도를 갖는 비상호작용적 LDP 프로토콜을 설계할 수 있는가?
• RQ2 내적의 다항식 근사는 국소 모델에서 일반화된 선형 모델의 효율적이고 프라이빗한 추정을 가능하게 하는가?
• RQ3 일반화된 선형 손실에 대해 표본 복잡도를 $p$에 대해 선형적으로 개선하면서 차별적 프라이버시를 유지할 수 있는가?
• RQ4 비상호작용적 LDP 프로토콜에서 프라이버시 파라미터($\epsilon, \delta$), 초과 손실($\alpha$), 표본 복잡도 간의 상호 교환 관계는 무엇인가?
• RQ5 이 프레임워크를 $f(y\langle w,x\rangle)$ 형태가 아닌 손실 함수, 예를 들어 선형 회귀나 $\ell_1$ 회귀에 확장할 수 있는가?

주요 결과

• 제안된 알고리즘은 일반화된 선형 손실에 대해 표본 복잡도 $\tilde{O}(p \cdot \epsilon^{-4d-4} \cdot d^{6d} C^d)$를 달성하며, 차원 $p$에 대해 선형 의존성을 갖는다.
• 허프 손실의 경우, 표본 복잡도는 $p$에 대해 선형적이며 $\epsilon$, $\delta$, $\alpha$에 대해 지수적으로 증가한다.
• 핵심 혁신인 내적의 다항식 근사는 지수적으로 많은 격자 점이 필요로 하지 않는 비상호작용 프로토콜을 가능하게 한다.
• 기능적 근사를 통해 일반화된 선형 모델의 프라이빗 ERM 문제를 허프 손실의 경우로 환원한다.
• 프라이빗 기울기 추정기의 분산은 $\tilde{O}(d^{6d} C^d p / \epsilon^{4d+4})$ 이하로 제한되며, 약한 가정 하에 수렴을 보장한다.
• 이 프레임워크는 비상호작용적 LDP 모델에서 부드럽지 않은 일반화된 선형 손실에 대해 차원 $p$에 대해 선형 표본 복잡도를 달성하는 데 있어 최초의 사례이다.