[논문 리뷰] Efficient Private ERM for Smooth Objectives

Jiaqi Zhang, Kai Zheng외 2명|arXiv (Cornell University)|2017. 03. 29.

Privacy-Preserving Technologies in Data참고 문헌 7인용 수 15

한 줄 요약

이 논문은 출력 편향을 사용한 경사 하강법을 활용해 부드럽고 강하게 볼록이며 비볼록 목적 함수에 대해 효율적인 비밀보장성 있는 경험적 리스크 최소화(ERM) 알고리즘을 제안한다. 이는 이전의 사생활 보장성 있는 SGD 방법보다 훨씬 더 빠른 수렴 속도를 보이며, ε-DP 및 (ε,δ)-DP 설정 모두에서 거의 최적의 유틸리티를 달성한다. 또한 비사전적 비볼록 최적화에 대해 정류점에 수렴하는 최초의 이론적 수렴 보장을 제공한다.

ABSTRACT

In this paper, we consider efficient differentially private empirical risk minimization from the viewpoint of optimization algorithms. For strongly convex and smooth objectives, we prove that gradient descent with output perturbation not only achieves nearly optimal utility, but also significantly improves the running time of previous state-of-the-art private optimization algorithms, for both $ε$-DP and $(ε, δ)$-DP. For non-convex but smooth objectives, we propose an RRPSGD (Random Round Private Stochastic Gradient Descent) algorithm, which provably converges to a stationary point with privacy guarantee. Besides the expected utility bounds, we also provide guarantees in high probability form. Experiments demonstrate that our algorithm consistently outperforms existing method in both utility and running time.

연구 동기 및 목표

• 강력한 유틸리티 보장을 유지하면서 더 빠르고 실용적인 비밀보장성 있는 최적화 알고리즘을 설계하기 위해 ERM에 적합한 알고리즘을 개발한다.
• 특히 대규모 데이터셋에 대해 사생활 보장성의 이론적 보장과 실용적 효율성 사이의 격차를 해소한다.
• 비볼록 설정으로의 비밀보장성 최적화를 확장하기 위해 부드럽고 비볼록 목적 함수에 대한 이론적 수렴 보장을 제공한다.
• 정확한 해가 아닌 근사해에 출력 편향을 적용할 경우 비밀보장성, 유틸리티, 런타임 간의 더 나은 트레이드오프를 달성할 수 있음을 보여준다.
• 비볼록 목적 함수에 대해 비밀보장성 하에 정류점으로 수렴하는 것을 증명할 수 있는 새로운 RRPSGD 알고리즘을 개발한다.

제안 방법

• 부드럽고 강하게 볼록 목적 함수에 대해 출력 편향을 사용한 경사 하강법을 제안하며, 근사해의 안정성을 활용해 런타임을 줄인다.
• RRPSGD(Reduced Round Private Stochastic Gradient Descent)를 도입하여, 랜덤 라운드와 노이즈 주입을 통해 (ε,δ)-비밀보장성을 보장한다.
• Hardt 등 [11]의 안정성 분석 기법을 결정론적 경사 하강법에 적용하여, 알고리즘 출력의 최악의 감도 기반으로 비밀보장성 보장을 가능하게 한다.
• 목적 함수의 부드러움을 활용해 더 큰 경사 하강 스텝을 허용함으로써 수렴 속도를 가속화하면서도 비밀보장성을 유지한다.
• 반복에 의한 증폭 원리를 적용하여 미니배치 SGD를 사용하면서도 반복 횟수를 감소시켜 런타임을 향상시키며, 비밀보장성 순서를 손상시키지 않는다.
• RRPSGD에 대해 고확률 수렴 경계를 유도하여 기대 유틸리티 보장을 더 강력한 확률적 진술로 확장한다.

실험 결과

연구 질문

• RQ1 강하게 볼록한 조건에서 출력 편향을 사용한 경사 하강법이 거의 최적의 유틸리티와 이전의 방법들보다 뚜렷한 런타임 향상을 달성할 수 있는가?
• RQ2 비볼록 목적 함수에 대해 비밀보장성 있는 최적화 알고리즘이 (ε,δ)-비밀보장성을 유지하면서 정류점으로 수렴할 수 있는가?
• RQ3 정확한 해가 아닌 근사해에 출력 편향을 적용할 경우 비밀보장성, 유틸리티, 런타임 간의 효율성-유틸리티 트레이드오프가 향상되는가?
• RQ4 경사 하강법의 안정성을 공식적으로 분석하여 부드럽고 비볼록 설정에서 비밀보장성 보장을 뒷받침할 수 있는가?
• RQ5 제안된 방법이 다양한 데이터셋에서 기존의 사생활 보장성 있는 SGD 방법과 비교해 최적화 오차와 런타임 측면에서 실제로 어떻게 성능을 내는가?

주요 결과

• 강하게 볼록하고 부드러운 목적 함수에 대해 제안된 출력 편향을 사용한 경사 하강법은 이론적 하한선에 근접한 유틸리티 경계를 달성하며(로그 요소를 제외하고), 이전 연구 대비 수십만 배 수준의 런타임 향상을 보였다.
• ε-DP의 경우 O(nd log(nε/d)) 시간, (ε,δ)-DP의 경우 O(nd log(nε/√(d log δ))) 시간에 실행되며, 이는 이전의 사생활 보장성 있는 SGD 방법의 O(n³d³) 런타임보다 훨씬 빠르다.
• BANK, ADULT, CREDITCARD, WINE, BIKE 데이터셋에서 제안된 방법은 모든 ε 및 δ 설정에서 Bassily 등 [1]의 방법보다 낮은 최적화 오차와 더 빠른 런타임을 달성했다.
• 비볼록 목적 함수에 대해 RRPSGD는 기대값 기반으로 정류점으로 수렴함을 증명하였으며, 이는 비밀보장성 있는 비볼록 최적화에 대해 최초의 이론적 보장을 제공한다.
• 고확률 수렴 경계를 달성하여 기대 유틸리티 보장의 수준을 초월하며 실용적 상황에서의 강건성을 향상시켰다.
• 실험 결과는 유틸리티와 런타임 모두에서 일관된 슈퍼리어리티를 보였으며, 기준 사생활 보장성 SGD 대비 실제 워크로드에서 최대 500배의 속도 향상을 달성했다.