[논문 리뷰] Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression

Zhefeng Qiao, Xianghao Yu외 2명|arXiv (Cornell University)|2021. 04. 26.

Privacy-Preserving Technologies in Data참고 문헌 15인용 수 12

한 줄 요약

이 논문은 클라이언트와 중앙 서버 양측에서 모델 가중치에 저랭크 압축을 적용하는 통신 효율적인 피어드 학습 프레임워크인 FedDLR를 제안한다. 양측에서 잘라낸 특이값 분해(TSVD)를 사용해 모델을 압축함으로써, FedDLR는 훈련 중 통신 오버헤드를 줄이고, 수축된, 추론에 적합한 모델을 생성하여 최신 기법들보다 빠른 수렴과 낮은 통신 비용을 달성한다.

ABSTRACT

Federated learning (FL) is a promising and powerful approach for training deep learning models without sharing the raw data of clients. During the training process of FL, the central server and distributed clients need to exchange a vast amount of model information periodically. To address the challenge of communication-intensive training, we propose a new training method, referred to as federated learning with dual-side low-rank compression (FedDLR), where the deep learning model is compressed via low-rank approximations at both the server and client sides. The proposed FedDLR not only reduces the communication overhead during the training stage but also directly generates a compact model to speed up the inference process. We shall provide convergence analysis, investigate the influence of the key parameters, and empirically show that FedDLR outperforms the state-of-the-art solutions in terms of both the communication and computation efficiency.

연구 동기 및 목표

• 클라이언트와 서버 간의 큰 모델 파rameter 교환으로 인한 높은 통신 비용 문제를 해결하기 위해.
• 단일 측면 압축의 한계를 극복하여 다운링크 통신 비용이나 추론 지연을 줄이기 위해.
• 훈련 중 통신 효율성과 추론 중 계산 효율성을 동시에 향상시키는 방법을 설계하기 위해.
• 제안된 이중 측면 압축 접근법에 대한 이론적 수렴 보장을 제공하기 위해.
• 최신 기반 압축 기반 피어드 학습 기법들과의 비교를 통해 FedDLR의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 클라이언트는 국부 훈련을 수행하고, 업로드하기 전에 모델 가중치에 대해 잘라낸 특이값 분해(TSVD)를 사용해 저랭크 압축을 적용한다.
• 중앙 서버는 압축된 클라이언트 모델을 집계하고, 방송하기 전에 글로벌 모델에 대해 TSVD를 사용해 저랭크 압축을 적용한다.
• 압축은 에너지 기반 절단 기반으로 이루어지며, 가장 큰 특이값을 유지하고 작은 값을 기각함으로써 차원을 감소시킨다.
• 압축은 랭크 제약 조건을 사용하여, 압축된 모델이 충분한 표현 능력을 유지하면서도 통신 부담을 최소화하도록 보장한다.
• 이론적 분석에 따르면, 이중 측면 압축 메커니즘 덕분에 통신 오버헤드가 훈련 전반에 걸쳐 단조롭게 감소한다.
• 프레임워크는 저랭크 근사법을 FedAvg 알고리즘에 통합하여, 약한 가정 하에 수렴 성질을 유지한다.

실험 결과

연구 질문

• RQ1 이중 측면 저랭크 압축은 모델 정확도를 희생시키지 않고 피어드 학습에서 통신 오버헤드를 줄일 수 있는가?
• RQ2 클라이언트와 서버의 모델을 모두 압축하면 모델의 수축성 덕분에 추론 속도가 빨라지는가?
• RQ3 압축 랭크의 선택이 수렴성과 통신 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 압축 체계 하에서 훈련 라운드 전반에 걸쳐 통신 비용이 단조롭게 감소하는가?
• RQ5 비볼록 최적화에 대한 표준 가정 하에서 FedDLR의 이론적 수렴성이 보장될 수 있는가?

주요 결과

• FedDLR는 잘라낸 특이값 분해(TSVD)를 사용해 클라이언트와 서버 양측에서 모델 가중치를 압축함으로써, 대역폭 사용을 줄였다.
• 이중 측면 압축 메커니즘 덕분에 훈련 라운드 전반에 걸쳐 통신 비용이 단조롭게 감소하는 결과를 얻었다.
• 이론적 분석을 통해 FedDLR가 표준 가정 하에 정적 점으로 수렴하며, 수렴 오차의 경계가 있음을 증명했다.
• 정리 2에 따르면, 훈련 중에 모델 가중치의 랭크가 증가하지 않음을 보여주어 안정성과 효율성을 보장한다.
• 실증 결과는 FedDLR가 통신 효율성과 추론 속도 모두에서 최신 기법들을 능가함을 보여주었다.
• 모델 크기를 크게 줄였음에도 불구하고 높은 모델 정확도를 유지하여 자원 제약이 있는 장치에서의 빠른 추론을 가능하게 했다.