[논문 리뷰] FedSKETCH: Communication-Efficient and Private Federated Learning via Sketching

Farzin Haddadpour, Belhal Karimi외 2명|arXiv (Cornell University)|2020. 08. 11.

Privacy-Preserving Technologies in Data참고 문헌 57인용 수 11

한 줄 요약

FedSKETCH와 FedSKETCHGATE는 로컬 그래디언트를 압축하기 위해 컨트 스케치를 사용하는 통신 효율적이고 프라이버시를 보장하는 분산 학습 알고리즘으로, 원시 그래디언트를 폭 드러내지 않으면서도 안전하고 저대역폭의 집계를 가능하게 한다. 이 방법들은 최대 75배의 압축을 통해 FedSGD와 유사한 수렴 속도를 달성하며, 동일한 데이터 분포 조건에서 이전의 스케치 및 양자화 방법들보다 우수한 성능을 보인다.

ABSTRACT

Communication complexity and privacy are the two key challenges in Federated Learning where the goal is to perform a distributed learning through a large volume of devices. In this work, we introduce FedSKETCH and FedSKETCHGATE algorithms to address both challenges in Federated learning jointly, where these algorithms are intended to be used for homogeneous and heterogeneous data distribution settings respectively. The key idea is to compress the accumulation of local gradients using count sketch, therefore, the server does not have access to the gradients themselves which provides privacy. Furthermore, due to the lower dimension of sketching used, our method exhibits communication-efficiency property as well. We provide, for the aforementioned schemes, sharp convergence guarantees. Finally, we back up our theory with various set of experiments.

연구 동기 및 목표

• 분산 학습에서의 통신 오버헤드와 기기 프라이버시라는 이중적 과제를 해결한다.
• 통신 효율성과 프라이버시 보장을 동시에 보장하는 통합 프레임워크를 개발한다.
• i.i.d. 및 non-i.i.d. 데이터 분포 조건 하에서 비볼록, Polyak-Łojasiewicz, 볼록 목표 함수에 대해 이론적 수렴 보장을 제공한다.
• 높은 압축 조건에서 기존의 압축 기반 방법들인 SketchSGD와 FedSGD에 비해 테스트 정확도와 수렴 속도에서 뛰어난 성능을 보인다.
• 동일한 데이터 분포 조건에서 동질적 및 이질적 데이터 설정 모두에 적합한 비편향 추정기인 새로운 스케칭 기반 추정기(HEAPRIX)를 설계한다.

제안 방법

• 서버로 전송하기 전에 로컬 그래디언트를 저차원 스케치로 압축하기 위해 컨트 스케치를 사용한다.
• 원래 그래디언트를 폭 드러내지 않으면서도 정확한 모델 업데이트를 가능하게 하는 스케칭 기반의 비편향 그래디언트 추정기인 HEAPRIX를 도입한다.
• 스케칭 기반 집계를 사용하여 동질적 데이터(i.i.i.d.)에 적합한 FedSKETCH와 이질적 데이터(non-i.i.d.)에 적합한 FedSKETCHGATE를 설계한다.
• 원래 그래디언트를 재구성할 수 없도록 하기 위해 무작위 해시 함수를 사용한 스케칭을 적용하여 프라이버시를 보장한다.
• 비점근 수렴 분석을 통해 볼록, PL, 비볼록 목표 함수에 대해 두 데이터 설정 조건 하에서 이론적 경계를 확립한다.
• 다중 로컬 업데이트(τ)를 통합하여 통신 라운드 수를 줄이면서도 수렴 성능를 유지한다.

실험 결과

연구 질문

• RQ1 스케칭을 사용하여 분산 학습에서 통신 비용을 동시에 줄이고 프라이버시를 보존할 수 있는가?
• RQ2 스케칭 기반 그래디언트 압축은 이질적 데이터 설정(non-i.i.d.)에서 수렴에 어떤 영향을 미치는가?
• RQ3 스케칭에서 유도된 비편향 그래디언트 추정기를 구성할 수 있는가? 이는 FedSGD와 유사한 수렴 성능를 달성할 수 있는가?
• RQ4 스케칭 기반 분산 학습에서 압축 비율과 모델 정확도 사이의 상충 관계는 어떠한가?
• RQ5 다중 로컬 업데이트는 스케칭과 어떻게 상호작용하여 통신 효율성을 향상시키는가?

주요 결과

• FedSKETCH와 FedSKETCHGATE는 최대 75배의 압축 조건에서도 FedSGD와 유사한 테스트 정확도를 달성하며, 이는 스케치 크기 (20,40)에 해당한다.
• HEAPRIX는 동질적 및 이질적 설정 모두에서 FS-PRIVIX와 SketchSGD를 모두 능가하며, 특히 높은 압축 조건에서 두각을 나타낸다.
• 스케치 크기가 (50,100)일 경우, FedSKETCH는 모든 설정에서 FedSGD와 유사한 테스트 정확도를 달성하며, τ=5의 로컬 업데이트 조건에서도 성능이 유지된다.
• 이질적 설정에서는 SketchSGD의 성능이 열악한 반면, FedSKETCHGATE는 높은 압축 조건에서도 강력한 성능을 유지를 한다.
• 다중 로컬 업데이트를 사용할 경우, FedSKETCH의 경우 수렴에 필요한 통신 라운드 수가 크게 감소하며, 이는 이론적 예측과 일치한다.
• 실험 결과는 FS-HEAPRIX가 작은 스케치 크기와 높은 τ 조건에서도 안정적인 수렴을 유지하고 발산을 피하는 것으로 나타났으며, 이는 FS-PRIVIX와는 대조적이다.