[논문 리뷰] Dimension Independence in Unconstrained Private ERM via Adaptive Preconditioning.

Peter Kairouz, Mónica Ribero외 2명|arXiv (Cornell University)|2020. 08. 14.

Stochastic Gradient Optimization Techniques참고 문헌 11인용 수 10

한 줄 요약

이 논문은 비밀성 보장된 비제약 볼록 경험 리스크 최소화를 위한 노이즈가 섞인 적응형 조절법(노이즈가 섞인 AdaGrad)을 소개한다. 기울기가 낮은 질서의 부분공간에 존재할 경우 초과 경험 리스크가 $ frac{1}{ ilde{O}( ilde{ heta} n)}$ 스케일을 보이며, 이는 환경 차원 $p$와 무관하게 성립한다. 이는 미분적 비밀성 보장 하에서 차원에 종속되지 않는 일반화를 달성한다. 이 방법은 기울기 부분공간의 구조를 활용하여 노이즈의 영향을 줄인다.

ABSTRACT

In this paper we revisit the problem of private empirical risk minimziation (ERM) with differential privacy. We show that for unconstrained convex empirical risk minimization if the observed gradients of the objective function along the path of private gradient descent lie in a low-dimensional subspace (smaller than the ambient dimensionality of $p$), then using noisy adaptive preconditioning (a.k.a., noisy Adaptive Gradient Descent (AdaGrad)) we obtain a regret composed of two terms: a constant multiplicative factor of the original AdaGrad regret and an additional regret due to noise. In particular, we show that if the gradients lie in a constant rank subspace, then one can achieve an excess empirical risk of $ ilde{O}(1/\epsilon n)$, compared to the worst-case achievable bound of $ ilde{O}(\sqrt{p}/\epsilon n)$. While previous works show dimension independent excess empirical risk bounds for the restrictive setting of convex generalized linear problems optimized over unconstrained subspaces, our results operate with general convex functions in unconstrained minimization. Along the way, we do a perturbation analysis of noisy AdaGrad, which may be of independent interest.

연구 동기 및 목표

• 비밀성 보장된 경험 리스크 최소화(ERM)에서 고차원 노이즈 문제를 해결하기 위한 도전 과제를 다루기 위해.
• 미분적 비밀성 보장 하에서 차원에 종속되지 않는 초과 리스크 경계를 달성하는 방법을 개발하기 위해.
• 이전 연구 결과—이전에는 일반화선형 모델에 국한되어 있었음—을 더 엄격한 가정 없이 일반 볼록 함수로 확장하기 위해.
• 적응형 기울기 방법에서의 노이즈 영향을 분석하여 이론적 및 실용적 통찰을 제공하기 위해.

제안 방법

• 차원에 종속되지 않는 비밀성 보장 기울기 하강법에 노이즈가 섞인 적응형 조절법(노이즈가 섞인 AdaGrad)을 적용하며, 헤시안 행렬의 근사치는 노이즈를 추가하여 차원에 종속되지 않게 유지하면서 적응적으로 갱신된다.
• 비제약 볼록 ERM에서 기울기가 흔히 낮은 유한 차원 부분공간에 존재한다는 관찰을 활용하여, 효과적인 차원을 감소시킨다.
• 원래 AdaGrad의 리그레트와 비례하는 항과 추가적인 노이즈 유도 리그레트로 분해되는 리그레트 경계를 유도한다.
• 노이즈가 섞인 AdaGrad의 펌터베이션 분석을 통해 수렴에 대한 노이즈의 영향을 제한하며, 낮은 질서 기울기 역학 하에서의 안정성을 보여준다.
• 기울기가 일정 질서의 부분공간을 형성할 경우, 노이즈 유도 리그레트가 주요 항에 비해 무시할 수 있을 정도로 작아진다.
• 차원에 종속되지 않는 초과 경험 리스크 경계 $ frac{1}{ ilde{O}( ilde{ heta} n)}$ 를 설정하며, 이는 최악의 경우 $ ilde{O}( frac{ ilde{p}}{ ilde{ heta} n})$ 에 비해 향상된다.

실험 결과

연구 질문

• RQ1 일반 볼록 함수에 대해, 적응형 조절법이 환경 차원 $p$ 의 의존도를 줄일 수 있는가?
• RQ2 노이즈가 비밀성 최적화에서 AdaGrad와 같은 적응형 기울기 방법의 수렴에 어떤 영향을 미치는가?
• RQ3 기울기 경로가 비밀성 보장 ERM에서 어떤 조건에서 낮은 차원 부분공간에 존재하게 되는가?
• RQ4 노이즈가 섞인 AdaGrad의 리그레트는 순수 신호 항과 노이즈 항으로 분해될 수 있으며, 이 노이즈 항은 낮은 질서 기울기 가정 하에서 유한하게 제한될 수 있는가?
• RQ5 일반화선형 모델을 초월하여 비밀성 보장 ERM에서 $ frac{1}{ ilde{O}( ilde{ heta} n)}$ 의 초과 경험 리스크를 달성할 수 있는가?

주요 결과

• 기울기가 일정 질서의 부분공간에 존재할 경우, 노이즈가 섞인 AdaGrad의 초과 경험 리스크는 환경 차원 $p$ 와 무관하게 $ ilde{O}(1/ ilde{ heta} n)$ 이다.
• 제안된 방법의 리그레트는 원래 AdaGrad 리그레트의 상수 배수와 추가적인 노이즈 항으로 구성되며, 이는 낮은 질서 기울기 역학 하에서 유한하게 제한된다.
• 환경 차원 $p$ 가 클 경우, 최악의 경계 $ ilde{O}( frac{ ilde{p}}{ ilde{ heta} n})$ 에 비해 상당한 향상이 이루어진다.
• 노이즈가 섞인 AdaGrad의 펌터베이션 분석은 비밀성 보장 하에서 방법의 안정성과 수렴성에 대한 이론적 근거를 제공한다.
• 이전에 일반화선형 모델에 국한되어 있던 차원에 종속되지 않는 경계 결과를 비제약 최소화 문제에서 일반 볼록 함수로 일반화한다.
• 이 프레임워크는 기울기 구조가 낮은 질서일 경우 고차원 매개변수 공간에 대한 민감도가 감소하는 실용적인 비밀성 보장 학습을 가능하게 한다.