[논문 리뷰] Differentially Private Empirical Risk Minimization Revisited: Faster and More General

Di Wang, Minwei Ye외 1명|arXiv (Cornell University)|2018. 02. 14.

Complexity and Algorithms in Graphs인용 수 141

한 줄 요약

논문은 볼록 및 비볼록 손실에 대한 DP-ERM를 재조명하여 더 빠른 그래디언트 교란 알고리즘과 개선된 유용성 상한을 제시하고 Polyak-Lojasiewicz 조건으로의 확장을 제시한다.

ABSTRACT

In this paper we study the differentially private Empirical Risk Minimization (ERM) problem in different settings. For smooth (strongly) convex loss function with or without (non)-smooth regularization, we give algorithms that achieve either optimal or near optimal utility bounds with less gradient complexity compared with previous work. For ERM with smooth convex loss function in high-dimensional ($p\\gg n$) setting, we give an algorithm which achieves the upper bound with less gradient complexity than previous ones. At last, we generalize the expected excess empirical risk from convex loss functions to non-convex ones satisfying the Polyak-Lojasiewicz condition and give a tighter upper bound on the utility than the one in \\cite{ijcai2017-548}.

연구 동기 및 목표

• 민감한 데이터에서의 경험적 위험 최소화(ERM)에 대한 효과적인 차분 프라이버시를 고무한다.
• 볼록, 강하게 볼록, 비볼록 설정 전반에서 DP-ERM의 유용성 상한과 그래디언트 복잡도를 개선한다.
• Polyak-Lojasiewicz 조건을 만족하는 비볼록 손실에 대한 DP-ERM 분석을 확장한다.
• 제약 집합의 기하학적 특성을 통해 차원 의존도를 줄여 고차원 ERM을 다룬다.

제안 방법

• 가우시안 그래디언트 교란을 사용하여 개인적인 근사 업데이트를 달성하기 위해 DP-SVRG 및 DP-SVRG++ 변형을 제안한다.
• 가우시안 메커니즘과 모먼트 어카운터를 이용해 프라이버시를 확립하고, 노이즈 스케일 \u0003csigma^2가 G^2Tm/n^2\u001epsilon^2에 비례하도록 한계를 설정한다.
• 강하게 볼록한 케이스와 비강하게 볼록한 케이스에 대한 개선된 유용성 상한과 그래디언트 복잡도 분석을 제시한다.
• 고차원 기하학적 의존성에 주목한 DP-AccMD를 도입하여 가우시안 너비와 민코프스키 노름을 활용한 DP-ERM을 제시한다.
• Polyak-Lojasiewicz(PL) 조건하에 비볼록 목적에 대한 분석을 확장하고 더 촘촘한 유용성 상한을 제공한다.

실험 결과

연구 질문

• RQ1 그래디언트 교란 DP-ERM이 볼록 및 강하게 볼록 손실에 대해 더 나은 유용성과 더 낮은 그래디언트 복잡도를 달성할 수 있을까?
• RQ2 기하학적 제약을 통해 차원 의존도를 줄여 DP-ERM을 고차원 설정으로 효율적으로 확장할 수 있을까?
• RQ3 DP하에서 비강하게 볼록하며 비볼록한 손실에 대한 유용성 보장은 무엇이며 특히 Polyak-Lojasiewicz 조건하에서 어떤가?
• RQ4 DP-AccMD가 가우시안 너비와 민코프스키 노름을 활용하여 프라이빗 ERM에서 더 빠른 수렴을 제공하는가?
• RQ5 프라이버시 회계 기법들(가우시안 메커니즘, 모먼트 어카운턴트, 고급 조합)이 실용적인 DP-ERM 알고리즘에 어떤 영향을 미치는가?

주요 결과

• DP-SVRG는 강하게 볼록한 경우에서 이전의 DP 방법들에 비해 그래디언트 복잡도를 감소시키며 준 최적의 유용성을 달성한다.
• DP-SVRG++는 비강하게 볼록한 경우에 대해 준 최적의 유용성을 달성하고 고차원에서 그래디언트 복잡도가 O(n^{1.5})로 개선된다.
• DP-AccMD는 가우시안 노이즈로 프라이버시 보장을 제공하고, 유용성 상한이 주변 차원이 아닌 가우시안 너비 G_C와 직경 ||C||_2에 비례하도록 한다.
• 비볼록 목적에 대해 Polyak-Lojasiewicz 조건을 만족하는 경우 DP-GD는 n과 p에 대해 우호적인 의존성을 가지며 준 최적의 여분의 경험적 위험을 산출한다.
• 이 프레임워크는 매끄럽고 볼록한, 고차원 및 특정 비볼록 설정에서 DP-ERM을 일치시키며, 이전 결과들보다 더 촘촘한 경계(bound)를 제공한다.