[논문 리뷰] Stochastic Adaptive Line Search for Differentially Private Optimization

Chen Chen, Jae Wook Lee|arXiv (Cornell University)|2020. 08. 18.

Privacy-Preserving Technologies in Data참고 문헌 26인용 수 4

한 줄 요약

이 논문은 레니의 미분적 비밀유지 조건을 만족시키면서 비용 예산 사용을 최소화하기 위해 노이즈가 섞인 경사와 함수 추정치를 사용하여 아르미조 조건을 만족시키는 스토하스틱 아르미조 선형 탐색을 통한 적응형 스텝 크기 선택을 갖는 레니의 미분적 비밀유지 확률적 경사 하강법을 제안한다. 이는 기울기 방향의 변화를 바탕으로 적응형 비밀유지 예산 할당을 도입하여 볼록 및 비볼록 문제에서 기존의 비밀유지 최적화 알고리즘보다 뛰어난 수렴성과 유티리티를 달성한다.

ABSTRACT

The performance of private gradient-based optimization algorithms is highly dependent on the choice of step size (or learning rate) which often requires non-trivial amount of tuning. In this paper, we introduce a stochastic variant of classic backtracking line search algorithm that satisfies Rényi differential privacy. Specifically, the proposed algorithm adaptively chooses the step size satsisfying the the Armijo condition (with high probability) using noisy gradients and function estimates. Furthermore, to improve the probability with which the chosen step size satisfies the condition, it adjusts per-iteration privacy budget during runtime according to the reliability of noisy gradient. A naive implementation of the backtracking search algorithm may end up using unacceptably large privacy budget as the ability of adaptive step size selection comes at the cost of extra function evaluations. The proposed algorithm avoids this problem by using the sparse vector technique combined with the recent privacy amplification lemma. We also introduce a privacy budget adaptation strategy in which the algorithm adaptively increases the budget when it detects that directions pointed by consecutive gradients are drastically different. Extensive experiments on both convex and non-convex problems show that the adaptively chosen step sizes allow the proposed algorithm to efficiently use the privacy budget and show competitive performance against existing private optimizers.

연구 동기 및 목표

• 미분적 비밀유지 최적화에서 스텝 크기 선택의 과제를 해결함으로써 수렴성과 유티리티에 중대한 영향을 미치는 것을 목적으로 한다.
• 레니의 미분적 비밀유지 조건 하에서 아르미조 조건을 만족시키는 비밀유지 보존 선형 탐색 기반의 적응형 스텝 크기 선택 메커니즘을 설계하는 것을 목적으로 한다.
• 백트랙킹 선형 탐색에서 다수의 함수 평가로 인한 과도한 비밀유지 예산 소비를 줄이기 위해 희소 벡터 기법과 비밀유지 강화 기법을 활용한다.
• 연속된 기울기가 극적으로 다른 방향을 가리킬 경우에 비밀유지 예산을 동적으로 조정하여 노이즈가 섞인 기울기 하에서 스텝 크기 선택의 신뢰성을 향상시키는 것을 목적으로 한다.
• 볼록, 비볼록, 딥 러닝 문제에서 비밀유지 조건 하에서 적응형 스텝 크기 선택이 성능 향상에 기여하는지를 실증적으로 검증하는 것을 목적으로 한다.

제안 방법

• 레니의 미분적 비밀유지 조건 하에서 고확률적으로 아르미조 조건을 만족시키기 위해 노이즈가 섞인 기울기와 함수 추정치를 사용하는 스토하스틱 백트랙킹 선형 탐색 알고리즘을 제안한다.
• 모든 평가에 비밀유지 예산을 지불하는 대신 아르미조 조건을 검사하는 반복에 대해서만 비밀유지 예산을 지불함으로써 비밀유지 예산 사용을 제한하기 위해 희소 벡터 기법을 적용한다.
• 랜덤 서브샘플링을 통한 비밀유지 강화 기법을 활용하여 함수 평가에 대한 비밀유지 예산 제약 조건을 완화한다.
• 연속된 기울기 간의 각도가 임계값을 초과할 경우, 불안정하거나 충돌하는 기울기 방향을 나타내므로 비밀유지 예산을 증가시키는 동적 비밀유지 예산 할당 전략을 도입한다.
• 각 반복의 비밀유지 예산에 기반한 보정된 노이즈 스케일을 갖는 가우시안 메커니즘을 사용하여 레니의 미분적 비밀유지 조건을 보장한다.
• 사전 정의된 범위 내에서 유효한 최대 스텝 크기를 반환하는 노이즈가 섞인 백트랙킹 선형 탐색 하위루틴(NoisyBTLS)을 구현하며, 비밀유지 예산을 기울기 및 함수 평가에 할당한다.

실험 결과

연구 질문

• RQ1 레니의 미분적 비밀유지 조건 하에서 아르미조 조건을 만족시키는 적응형 스텝 크기 선택을 수행하면서 비용 예산 사용을 최소화하는 비밀유지 선형 탐색 알고리즘을 설계할 수 있는가?
• RQ2 비밀유지 조건 하에서 노이즈가 섞인 기울기와 함수 추정치가 존재할 경우, 스텝 크기 선택의 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ3 적응형 비밀유지 예산 할당이 비밀유지 최적화에서 수렴 속도와 모델 유티리티에 어떤 영향을 미치는가?
• RQ4 DP-SGD 및 DP-Adam과 같은 기존 비밀유지 최적화 알고리즘과 비교할 때, 제안된 방법은 수렴성과 최종 모델 성능 측면에서 어떻게 다른가?
• RQ5 선형 탐색을 통한 적응형 스텝 크기 선택이 비밀유지 조건 하에서 볼록 및 비볼록 기계학습 문제에서 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 DP-BLSGD 알고리즘은 MNIST, FMNIST, Cifar-10의 MLP 및 CNN 모델에서 DP-SGD 및 DP-Adam보다 수렴 속도와 최종 정확도에서 뛰어난 성능을 보이며, 특히 목적 함수 값 감소 측면에서 두각을 나타낸다.
• 로지스틱 회귀 작업에서 DP-BLSGD는 4개 데이터셋 중 3개에서 DP-AGD 및 Outpert-RSGD보다 높은 분류 정확도를 달성하였으며, 특히 낮은 비밀유지 예산 조건에서 두각을 나타낸다.
• 알고리즘의 적응형 스텝 크기 선택은 수렴 속도 향상에 기여하며, 그 결과 학습 반복 과정에서 스텝 크기가 적절히 감소하는 경향을 보였다(그림 5의 하단 행 참조).
• 학습 중 비밀유지 예산을 증가시키지 않더라도 DP-BLSGD는 DP-SGD 및 DP-Adam보다 더 뛰어난 성능을 달성하여, 단순히 선형 탐색의 가치를 입증한다.
• 동적 비밀유지 예산 할당 전략은 안정성을 향상시킨다: 기울기 방향이 크게 다를 경우 알고리즘이 비밀유지 예산을 증가시켜 안정적인 기울기 추정을 보장한다.
• Bank 데이터셋에서는 Outpert-RSGD가 DP-BLSGD를 능가하는 것으로 나타났으며, 이는 데이터셋의 작은 학습 범위로 인해 기울기 흐름 기반 방법의 효과가 떨어질 수 있기 때문일 것이다.