[논문 리뷰] Compression with Exact Error Distribution for Federated Learning

Mahmoud Hegazy, Rémi Leluc외 2명|arXiv (Cornell University)|2023. 10. 31.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 층화된 양자화기와 집합적 가우시안 메커니즘을 통해 페더레이티드 러닝을 위한 새로운 압축 기법을 제안한다. 이 기법은 정확한 오차 분포(예: 가우시안 또는 라플라스)를 달성하며, 이로 인해 차별적 프라이버시(DP)에서 압축을 무료로 이용할 수 있고, 랭지에빈 역학 및 최적 수렴 속도를 갖는 랜덤화 스무딩과 같은 기존 기법을 복구하거나 향상시킨다.

ABSTRACT

Compression schemes have been extensively used in Federated Learning (FL) to reduce the communication cost of distributed learning. While most approaches rely on a bounded variance assumption of the noise produced by the compressor, this paper investigates the use of compression and aggregation schemes that produce a specific error distribution, e.g., Gaussian or Laplace, on the aggregated data. We present and analyze different aggregation schemes based on layered quantizers achieving exact error distribution. We provide different methods to leverage the proposed compression schemes to obtain compression-for-free in differential privacy applications. Our general compression methods can recover and improve standard FL schemes with Gaussian perturbations such as Langevin dynamics and randomized smoothing.

연구 동기 및 목표

• 표준 압축 기법이 유한 분산을 가정하지만 압축 노이즈의 형태를 忽略한다는 한계를 해결하기 위해.
• 최종 모델 업데이트에 특정한 정확한 오차 분포(예: 가우시안)를 생성하는 집합 기반 메커니즘을 설계하기 위해.
• 정확한 오차 분포를 활용해 프라이버시 보장을 위한 노이즈를 재사용함으로써 DP 환경에서 '압축을 무료로' 이용할 수 있도록 하기 위해.
• 정확한 오차 분포 기반 랜덤화 스무딩을 통해 비연속 페더레이티드 최적화에서 수렴 속도를 향상시키기 위해.
• 안전한 집합(SeAgg)과의 호환성을 확보하기 위해, 신뢰도가 낮은 서버 환경에서도 작동하는 히스모모르픽 압축 기법을 설계하기 위해.

제안 방법

• 개별 압축 기법에서 정확한 오차 분포를 달성하기 위해 층화된 양자화기(직접 및 이동형)를 사용한다.
• 최종 집합 결과물에 정확히 가우시안 오차 분포를 보장하는 새로운 히스모모르픽 압축 기법인 집합적 가우시안 메커니즘을 도입한다.
• 제안된 양자화기를 랜덤화 스무딩에서의 확률적 샘플링 대체에 적용하여 정확한 분산 랜덤화 스무딩(DRS) 알고리즘의 복원을 가능하게 한다.
• 클라이언트가 압축된 메시지를 전송하여 서버에서 해독하기 전에 히스모모르픽하게 집계할 수 있도록, 안전한 집합(SeAgg)과 호환되는 압축 기법을 설계한다.
• 정확한 오차 분포를 활용해 추가 노이즈 없이도 차별적 프라이버시 제약 조건을 충족시켜, DP 환경에서 '압축을 무료로' 이용할 수 있도록 한다.
• 제안된 기법의 통신 비용을 분석하여, 개인 및 집합적 압축 환경 모두에서 효율성을 입증한다.

실험 결과

연구 질문

• RQ1 정확한 연속 오차 분포(예: 가우시안 또는 라플라스)를 생성하는 압축 기법을 설계할 수 있는가? 유한 분산 가정에 의존하지 않고도 가능한가?
• RQ2 페더레이티드 평균 및 집합에서 정확한 오차 분포를 달성하는 데 드는 통신 비용과 실용적 이점은 무엇인가?
• RQ3 정확한 오차 분포 압축이 차별적 프라이버시 응용에서 '압축을 무료로' 이용할 수 있도록 어떻게 기여하는가?
• RQ4 이러한 기법은 비연속 최적화에서 랭지에빈 역학 및 랜덤화 스무딩과 같은 기존 방법을 복원하거나 향상시킬 수 있는가?
• RQ5 압축 기법을 어떻게 히스모모르픽하게 만들 수 있으며, 신뢰도가 낮은 서버 환경에서 안전한 집합을 지원할 수 있는가?

주요 결과

• 제안된 집합적 가우시안 메커니즘은 최종 집합 모델 업데이트에 정확히 가우시안 오차 분포를 보장하여 정밀한 차별적 프라이버시 보장을 가능하게 한다.
• 압축 노이즈를 프라이버시 보호용 노이즈로 재사용함으로써 추가 펄스 없이도 DP 환경에서 '압축을 무료로' 이용할 수 있다.
• 정확한 오차 분포를 갖는 층화된 양자화기를 사용함으로써 분산 랜덤화 스무딩(DRS) 알고리즘을 정확히 복원할 수 있으며, 이는 비연속 목표 함수에 대해 최적 수렴 속도를 달성한다.
• 집합적 가우시안 메커니즘은 히스모모르픽하므로, SeAgg와 같은 안전한 집합 프로토콜과 호환되어 서버가 덜 신뢰되더라도 프라이버시 보장 집합이 가능하다.
• 제안된 기법의 통신 비용은 분석되었으며, 오차 분포 제어와 대역폭 사용 간의 유리한 트레이드오프를 제공함을 입증하였다.
• 정확한 오차 제어와 더불어 더 견고한 이론적 분석을 제공함으로써, 랭지에빈 역학 및 랜덤화 스무딩 등에 사용되는 가우시안 펄스 기반 표준 FL 기법들을 일반화하고 향상시킨다.