[논문 리뷰] Differentially Private Empirical Risk Minimization with Sparsity-Inducing Norms

K.S. Kumar, Marc Peter Deisenroth|arXiv (Cornell University)|2019. 05. 13.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 4

한 줄 요약

이 논문은 구조적 희박성(induce structured sparsity)를 유도하는 비미분 정규화(norm)를 사용하는 차별적(private) 경험 위험 최소화(ERM) 알고리즘을 제안한다. 비미분 정규화에 초점을 맞추며, 이는 희박성 유도를 위한 비미분 정규화를 다룬다. 이는 이중 ERM 문제를 위한 사전적 프rank-Wolfe 알고리즘을 제안하고, 이중 노름(unit ball)의 가우시안 폭(Gaussian width)에 따라 초과 위험(Excess risk) 경계를 유도하며, 이중 공간에서의 목적 함수 편향(Objective perturbation)과 출력 편향(Output perturbation) 간의 등가성을 확립한다.

ABSTRACT

Differential privacy is concerned about the prediction quality while measuring the privacy impact on individuals whose information is contained in the data. We consider differentially private risk minimization problems with regularizers that induce structured sparsity. These regularizers are known to be convex but they are often non-differentiable. We analyze the standard differentially private algorithms, such as output perturbation, Frank-Wolfe and objective perturbation. Output perturbation is a differentially private algorithm that is known to perform well for minimizing risks that are strongly convex. Previous works have derived excess risk bounds that are independent of the dimensionality. In this paper, we assume a particular class of convex but non-smooth regularizers that induce structured sparsity and loss functions for generalized linear models. We also consider differentially private Frank-Wolfe algorithms to optimize the dual of the risk minimization problem. We derive excess risk bounds for both these algorithms. Both the bounds depend on the Gaussian width of the unit ball of the dual norm. We also show that objective perturbation of the risk minimization problems is equivalent to the output perturbation of a dual optimization problem. This is the first work that analyzes the dual optimization problems of risk minimization problems in the context of differential privacy.

연구 동기 및 목표

• 비미분, 구조적 희박성 유도 정규화를 갖는 ERM에서 차별적 비밀유지의 도전 과제를 해결한다.
• 비미분 정규화의 맥락에서 출력 편향과 프rank-Wolfe 알고리즘의 유효성(utility)을 분석한다.
• 이중 노름의 단위구의 가우시안 폭에 따라 의존하는 이론적 초과 위험 경계를 제공한다.
• 원래 문제에서의 목적 함수 편향과 이중 최적화 문제에서의 출력 편향 간의 새로운 등가성을 확립한다.
• 비미분 ERM 환경에서 미러-강하(Mirror-descent) 및 기울기 편향 기반 차별적 알고리즘을 분석할 길을 열어 놓는다.

제안 방법

• 비미분 정규화를 갖는 원래 ERM 문제에 출력 편향을 적용하여, 모델 파라미터에 노이즈를 추가함으로써 차별적 비밀유지를 확보한다.
• 이중 ERM 문제의 최적화를 위해 이중 공간의 구조를 활용하는 사전적 프rank-Wolfe 알고리즘을 개발한다.
• 이중 노름의 단위구의 가우시안 폭을 분석하여 출력 편향과 사전적 프rank-Wolfe 알고리즘의 초과 위험 경계를 도출한다.
• 펜첼 이중성(Fenchel duality)을 사용하여 원래 문제에서의 목적 함수 편향을 이중 공간에서의 출력 편향으로 재구성함으로써 등가성을 증명한다.
• 강한 이중성 및 펜첼 쌍대함수를 활용하여 편향된 원래 문제를 이중 최적화 문제로 변환한다.
• 구조적 희박성을 유도하기 위해 하위모듈라 함수(submodular functions)를 정규화로 활용함으로써, 이중 공간에서 다각형 집합(polygonal sets)의 활용이 가능해진다.

실험 결과

연구 질문

• RQ1 비미분, 희박성 유도 정규화를 갖는 ERM 문제에 대해 출력 편향을 효과적으로 적용할 수 있는 방법은 무엇인가?
• RQ2 구조적 희박성을 갖는 ERM 문제의 이중 문제에 대해 사전적 프rank-Wolfe 알고리즘을 적용했을 때의 초과 위험 경계는 무엇인가?
• RQ3 원래 ERM 문제에서의 목적 함수 편향이 이중 문제에서의 출력 편향과 등가로 해석될 수 있는가?
• RQ4 이중 노름의 단위구의 가우시안 폭은 차별적 비밀유지 ERM에서 초과 위험에 어떤 영향을 미치는가?
• RQ5 비미분 정규화를 갖는 차별적 ERM에서 유효성 경계를 향상시키기 위해 이중 노름의 어떤 구조적 성질을 활용할 수 있는가?

주요 결과

• 출력 편향의 초과 위험 경계는 이중 노름의 단위구의 가우시안 폭에 따라 결정되며, 이는 차원에 영향을 받지 않는 유효성 보장을 제공한다.
• 이중 ERM 문제를 위한 사전적 프rank-Wolfe 알고리즘은 이중 노름의 단위구의 가우시안 폭에 의해 지배되는 초과 위험 경계를 달성한다.
• 원래 ERM 문제에서의 목적 함수 편향은 수학적으로 이중 최적화 문제에서의 출력 편향과 등가이다.
• 저자들은 차별적 비밀유지 ERM의 맥락에서 이중 최적화 문제에 대한 이론적 분석을 처음으로 확립한다.
• 기존의 초과 위험 경계 연구를 확장하여, 구조적 희박성이 유도될 경우 이러한 경계가 입력 차원에 독립적임을 보여준다.
• 이 프레임워크는 비미분 ERM 환경에서 미러-강하 및 기울기 편향 기반 차별적 알고리즘을 분석할 수 있는 새로운 길을 열어 놓는다.