[논문 리뷰] Empirical Risk Minimization in the Non-interactive Local Model of Differential Privacy

Di Wang, Marco Gaboardi외 2명|arXiv (Cornell University)|2020. 11. 11.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 고차원 환경에서 경험적 위험 최소화(Empirical Risk Minimization, ERM)를 위한 비상호작용적 국소적 차별적 개인정보 보호(LDP) 알고리즘을 제안한다. 부드러운 손실 함수에 대해 베르슈타인 다항식 근사법을, 일반화된 선형 모델에 대해 내적 다항식 근사법을 활용함으로써, 오차 매개변수 α에 대해 다항식이고 차원 p에 대해 선형인 샘플 복잡도를 달성하여 이전에는 p에 대해 지수적 의존성이 있었던 문제를 해결한다.

ABSTRACT

In this paper, we study the Empirical Risk Minimization (ERM) problem in the non-interactive Local Differential Privacy (LDP) model. Previous research on this problem \citep{smith2017interaction} indicates that the sample complexity, to achieve error $α$, needs to be exponentially depending on the dimensionality $p$ for general loss functions. In this paper, we make two attempts to resolve this issue by investigating conditions on the loss functions that allow us to remove such a limit. In our first attempt, we show that if the loss function is $(\infty, T)$-smooth, by using the Bernstein polynomial approximation we can avoid the exponential dependency in the term of $α$. We then propose player-efficient algorithms with $1$-bit communication complexity and $O(1)$ computation cost for each player. The error bound of these algorithms is asymptotically the same as the original one. With some additional assumptions, we also give an algorithm which is more efficient for the server. In our second attempt, we show that for any $1$-Lipschitz generalized linear convex loss function, there is an $(ε, δ)$-LDP algorithm whose sample complexity for achieving error $α$ is only linear in the dimensionality $p$. Our results use a polynomial of inner product approximation technique. Finally, motivated by the idea of using polynomial approximation and based on different types of polynomial approximations, we propose (efficient) non-interactive locally differentially private algorithms for learning the set of k-way marginal queries and the set of smooth queries.

연구 동기 및 목표

• 비상호작용적 국소적 차별적 개인정보 보호(LDP) 모델에서 이전 ERM 방법이 겪어온 차원 p에 대한 지수적 샘플 복잡도 문제를 해결한다.
• 일반적인 손실 함수의 경우 오차 α를 달성하기 위해 차원 p에 대해 지수적 샘플 복잡도가 요구되는 근본적 제약을 극복한다.
• 사용자당 1비트 통신과 O(1) 계산을 유지하면서도 프라이버시와 정확성을 보존하는 효율적인 프로토콜을 설계한다.
• 다항식 근사 기법을 활용해 k-방향 마진 쿼리와 부드러운 쿼리에 대한 LDP 하에서의 응용을 확장한다.
• 경험적 위험 최소화와 인구 위험 최소화에 대해 샘플 복잡도와 정확도에 대한 이론적 보장을 제공한다.

제안 방법

• ({∞,T})-부드러운 손실 함수에 대해 베르슈타인 다항식 근사법을 사용하여 샘플 복잡도를 α에 대해 다항식으로 감소시킨다.
• 1-립시츠 일반화된 선형 볼록 손실 함수에 대해 내적의 다항식 근사법을 적용하여 차원 p에 대해 선형 의존성을 달성한다.
• 초입체에서 (h,T)-부드러운 함수에 대해 삼각함수 다항식 근사법을 활용하여 부드러운 쿼리 처리를 가능하게 한다.
• 각 사용자가 오직 1비트의 정보만 전송하는 비상호작용 프로토콜을 설계하며, 랜덤라이즈드 리스폰스 또는 유사 기법을 사용한다.
• 모멘트 추정과 계수 복원 기법을 활용하여 서버가 노이즈가 섞인 요약 정보로부터 쿼리 답변을 재구성할 수 있도록 한다.
• 집중 경계와 오차 전파 분석을 통합하여 (α,β)-정확도를 높은 확률로 보장한다.

실험 결과

연구 질문

• RQ1 비상호작용적 LDP 하에서 ERM의 차원 p에 대한 지수적 의존성을 특정 손실 함수 클래스에 대해 제거할 수 있는가?
• RQ2 어떤 조건을 만족할 경우 손실 함수가 프라이버시를 유지하면서도 오차 매개변수 α에 대해 다항식 샘플 복잡도를 달성할 수 있는가?
• RQ3 비상호작용적 LDP 하에서 사용자와 서버 양측에 대해 1비트 통신과 O(1) 계산을 갖는 효율적인 프로토콜을 설계할 수 있는가?
• RQ4 다항식 근사 프레임워크를 k-방향 마진 쿼리 및 부드러운 쿼리와 같은 다른 쿼리 유형으로 확장할 수 있는가?
• RQ5 일반화된 선형 모델에서 LDP 하에서 프라이버시 매개변수 ε, δ와 샘플 복잡도 사이의 상호 교환 관계는 어떠한가?

주요 결과

• ({∞,T})-부드러운 손실 함수의 경우, α-오차를 달성하기 위한 샘플 복잡도가 이전의 α^{-(p+1)}에서 어떤 상수 c에 대해 α^{-c}로 감소하여 p에 대한 지수적 의존성이 제거된다.
• 제안된 알고리즘은 베르슈타인 다항식 근사 프레임워크 하에서 샘플 복잡도 n = O(ε^{-2} log(1/β) α^{-c})를 갖으며, (α,β)-정확도를 달성한다.
• 1-립시츠 일반화된 선형 볼록 손실 함수의 경우, 샘플 복잡도는 p에 대해 선형이며, p에 대해 지수적 의존성은 ε 및 δ에 대해서만 존재한다.
• 사용자당 1비트 통신과 O(1) 계산을 갖는 효율적인 프로토콜이 설계되었으며, 프라이버시와 정확성을 유지한다.
• C^h_T 범주에 속하는 부드러운 쿼리의 경우 샘플 복잡도는 O(ε^{-2} α^{-(5p+2h)/h} polylog(1/β))이며, 쿼리 답변 시간은 Õ((√n ε)^{(4p+4)/(5p+2h) + ...})이다.
• 프레임워크는 k-방향 마진 쿼리 및 부드러운 쿼리로 확장되어 α와 p에 대해 다항식 샘플 복잡도를 갖는 비상호작용적 LDP 알고리즘 중 최초의 사례를 제공한다.