[논문 리뷰] LEASGD: an Efficient and Privacy-Preserving Decentralized Algorithm for Distributed Learning

Hsin-Pai Cheng, Patrick Yu외 5명|arXiv (Cornell University)|2018. 11. 27.

Privacy-Preserving Technologies in Data참고 문헌 2인용 수 16

한 줄 요약

LEASGD는 데스크탑-팔로워 통신 토폴로지와 탄성 평균화, 차별적 프라이버시를 결합한 새로운 분산 학습 알고리즘으로, 더 빠른 수렴 속도와 낮은 통신 비용을 달성한다. DPSGD에 비해 더 낮은 프라이버시 예산으로 학습 손실을 30% 감소시키면서도 프라이빗 설정에서 높은 정확도를 유지한다.

ABSTRACT

Distributed learning systems have enabled training large-scale models over large amount of data in significantly shorter time. In this paper, we focus on decentralized distributed deep learning systems and aim to achieve differential privacy with good convergence rate and low communication cost. To achieve this goal, we propose a new learning algorithm LEASGD (Leader-Follower Elastic Averaging Stochastic Gradient Descent), which is driven by a novel Leader-Follower topology and a differential privacy model.We provide a theoretical analysis of the convergence rate and the trade-off between the performance and privacy in the private setting.The experimental results show that LEASGD outperforms state-of-the-art decentralized learning algorithm DPSGD by achieving steadily lower loss within the same iterations and by reducing the communication cost by 30%. In addition, LEASGD spends less differential privacy budget and has higher final accuracy result than DPSGD under private setting.

연구 동기 및 목표

• 차별적 프라이버시를 보장하면서도 수렴 속도나 통신 효율성에 손상이 가지 않는 분산 학습 시스템을 설계하는 것.
• 동적 리더-팔로워 쌍으로의 파라미터 교환을 제한함으로써 분산 학습의 통신 비용을 줄이는 것.
• 탄성 평균화와 모멘텀 기반 프라이버시 회계를 통해 수렴 속도와 프라이버시-정확도 트레이드오프를 향상시키는 것.
• 비공개 및 공개 학습 설정 모두에서 제안된 방법의 확장성과 내구성을 평가하는 것.

제안 방법

• LEASGD는 리더(낮은 손실을 가진 워커)가 팔로워(높은 손실을 가진 워커)를 탄성 평균화를 통해 이끄는 동적 리더-팔로워 토폴로지를 사용하여 수렴을 향상시킨다.
• 알고리즘은 리더와 팔로워의 파라미터 간의 힘을 적용하는 탄성 업데이트 규칙을 사용하여 학습을 안정화하고 수렴을 가속화한다.
• 모멘텀 기반 프라이버시 회계를 통해 노이즈를 척도 조정하여 차별적 프라이버시를 통합하며, 기존의 구성 정리보다 더 날카로운 프라이버시 예산 경계를 제공한다.
• 통신은 오직 리더-팔로워 쌍 간에만 제한되며, D-PSGD 대비 총 전송 벡터 수를 30% 감소시킨다.
• 이론적 분석을 통해 강凸성 조건 하에서 O(h^t)의 수렴 속도를 증명하였으며, 여기서 h < 1이며 워커 수 p가 증가함에 따라 감소한다.
• 프라이버시 트레이드오프는 기울기 노이즈 분산을 총 노이즈 분산(σ₁² + C²σ₂²)으로 대체하여 정량화하였으며, 워커 수 증가에 따라 안정적인 확장성을 보였다.

실험 결과

연구 질문

• RQ1 분산 학습 시스템이 차별적 프라이버시를 유지하면서도 더 빠른 수렴 속도와 낮은 통신 비용을 달성할 수 있는가?
• RQ2 리더-팔로워 토폴로지는 전통적인 분산 통신 방식에 비해 수렴 및 통신 효율성 측면에서 어떻게 비교되는가?
• RQ3 모멘텀 기반 프라이버시 회계는 분산 학습에서 총 프라이버시 예산(ε)에 어떤 영향을 미치는가?
• RQ4 워커 수가 증가함에 따라 LEASGD는 프라이버시 예산과 최종 모델 정확도 측면에서 어떻게 확장되는가?
• RQ5 DP 노이즈의 추가가 국소 최적점에서 벗어나기 위해 일반화 성능을 향상시키는가, 특히 분산 학습에서?

주요 결과

• LEASGD는 D-PSGD 대비 전송된 벡터 수로 측정했을 때 통신 비용을 30% 감소시켰다.
• 비공개 설정에서는 LEASGD가 동일한 반복 수 내에서 D-PSGD보다 더 빠르게 수렴하고 더 낮은 학습 손실을 달성한다.
• 차별적 프라이버시 설정에서는 LEASGD가 더 낮은 총 프라이버시 예산(ε = 4.651 vs. 4.843)으로 더 높은 최종 정확도(예: MNIST에서 97% vs. D-PSGD의 95%, m=15일 때)를 달성한다.
• 워커 수가 증가함에 따라 LEASGD의 최종 정확도가 안정적으로 유지되어 프라이버시 설정 하에서도 강력한 확장성을 보였다.
• 모멘텀 기반 회계 덕분에 프라이버시 예산은 체계 크기 증가에 따라 느리게 증가하며, 기존의 구성 정리보다 더 날카로운 경계를 제공한다.
• LEASGD의 수렴 속도는 O(h^t)이며, 이는 지수적으로 감소하며 장기적으로 D-PSGD의 O(1/[(p+1)t]) 속도보다 빠르다.