[논문 리뷰] FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection

Ruixuan Liu, Yang Cao외 2명|arXiv (Cornell University)|2020. 03. 24.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 8

한 줄 요약

FedSel은 국소적 차별적 개인정보보호(LDP) 하에서 차원의 문제를 완화하기 위해 크기 기반으로 상위-k 기울기 차원을 사전에 선택하는 두 단계의 분산SGD 프레임워크를 제안한다. 이로 인해 노이즈 의존성은 O(√d)에서 O(1/√d)로 감소한다. 기존 최고 수준의 LDP 방법들에 비해 모델 정확도를 향상시키고 필요한 배치 크기를 줄이며, 비밀성, 유효성, 수렴 안정성에 대한 이론적 및 실험적 검증을 수행한다.

ABSTRACT

As massive data are produced from small gadgets, federated learning on mobile devices has become an emerging trend. In the federated setting, Stochastic Gradient Descent (SGD) has been widely used in federated learning for various machine learning models. To prevent privacy leakages from gradients that are calculated on users' sensitive data, local differential privacy (LDP) has been considered as a privacy guarantee in federated SGD recently. However, the existing solutions have a dimension dependency problem: the injected noise is substantially proportional to the dimension $d$. In this work, we propose a two-stage framework FedSel for federated SGD under LDP to relieve this problem. Our key idea is that not all dimensions are equally important so that we privately select Top-k dimensions according to their contributions in each iteration of federated SGD. Specifically, we propose three private dimension selection mechanisms and adapt the gradient accumulation technique to stabilize the learning process with noisy updates. We also theoretically analyze privacy, accuracy and time complexity of FedSel, which outperforms the state-of-the-art solutions. Experiments on real-world and synthetic datasets verify the effectiveness and efficiency of our framework.

연구 동기 및 목표

• LDP 기반 분산SGD에서 차원 d에 따라 노이즈가 증가하는 차원 의존성 문제를 해결한다.
• 기존 LDP-SGD 방법에서와 같이 현재 d에 선형적으로 증가하는 수준의 정확도를 확보하기 위해 필요한 클라이언트 배치 크기를 줄인다.
• ε-LDP 하에서 모델 유효성을 유지하면서 비밀비용을 최소화하는 사전 상위-k 차원 선택 기법을 설계한다.
• 노이즈가 많고 지연된 업데이트 상황에서도 분산된 기울기 누적 기법을 변형하여 변동성을 줄여 학습 수렴 안정성을 확보한다.
• 다양한 클라이언트 참여 수준에서 성능을 유지하는 하이퍼파rameter-free 차원 선택 전략을 개발한다.

제안 방법

• 두 단계 프레임워크 제안: (1) 세 가지 새로운 LDP 기법을 사용한 사전 상위-k 차원 선택, (2) 선택된 차원에 노이즈를 주입하는 값 펌핑.
• 지수 기반, 임계값 기반, 적응형 샘플링 기반의 세 가지 사전 상위-k 선택 기법 설계. 각 기법은 ε-LDP를 만족하며 값 펌핑 단계와 독립적이다.
• 노이즈가 많은 업데이트 상황에서 수렴 안정성을 확보하기 위해 동력 기반 기울기 누적 기법을 변형한다. 이는 LDP 노이즈 상황에서 변동성을 감소시킨다.
• 이론적으로 비밀성(ε-LDP), 유효성(감소된 오차 스케일링), 시간 복잡도를 분석하여 O(√d)에서 O(1/√d)로 향상된 의존성 구조를 입증한다.
• 조정이 필요 없는 전략을 도입하기 위해 안전한 임계값 θ=0.2를 설정하여 튜닝 없이 선택을 유도한다.
• 실제 및 합성 데이터셋에서 FedSel을 구현하고, 평탄한 및 압축된 LDP-SGD 기반 방법과 비교 평가한다.

실험 결과

연구 질문

• RQ1 사전 상위-k 기울기 차원 선택이 LDP 기반 분산SGD에서 차원에 기인한 노이즈를 줄일 수 있는가?
• RQ2 랜덤 프로젝션 또는 평탄한 LDP 기반 방법과 비교했을 때, 사전 상위-k 선택은 모델 정확도와 필요한 배치 크기에 어떤 영향을 미치는가?
• RQ3 변동성 감소 기법을 적용한 기울기 누적 기법은 LDP 노이즈 상황에서 분산 학습의 수렴 안정성을 높일 수 있는가?
• RQ4 하이퍼파rameter-free 선택 전략은 다양한 클라이언트 참여 수준에서 성능을 유지할 수 있는가?
• RQ5 LDP 하에서 상위-k 선택의 비밀성(ε), 유효성(오차), 계산 비용 간 이론적 트레이드오프는 어떠한가?

주요 결과

• FedSel은 LDP 추정 오차 스케일링을 O(√d)에서 O(1/√d)로 줄여 고차원 환경에서 유효성을 크게 향상시켰다.
• 정확도가 만족스러운 수준을 확보하기 위해 필요한 배치 크기는 Ω(E² log d / (d ε²))로 평탄한 LDP-SGD의 O(E² d log d / ε²)보다 상당히 낮아졌다.
• θ=0.2를 사용한 하이퍼파rameter-free 전략은 동적 배치 크기 상황에서도 안정된 성능을 유지했으며, 사전 기반 방법들보다 훨씬 낮은 변동성을 보였다.
• 모든 세 가지 사전 상위-k 선택 기법이 사전 기반 방법보다 모델 정확도를 향상시켰으며, 가장 우수한 방법은 실제 데이터셋에서 최대 15% 높은 테스트 정확도를 달성했다.
• 수정된 기울기 누적 기법은 노이즈가 많은 업데이트 상황에서 변동성을 감소시켜 지연되고 펌핑된 기울기 상황에서도 안정적인 수렴을 기여했다.
• 실험 결과는 고크기 기울기 차원을 선택할 경우 학습 효율성이 향상되며, 중요하지 않은 기울기들을 기각함으로써 노이즈 영향을 줄일 수 있지만 유효성 손실이 크지 않다는 것을 확인했다.