[논문 리뷰] Partial Variable Training for Efficient On-Device Federated Learning

Tien-Ju Yang, Dhruv Guliani외 2명|arXiv (Cornell University)|2021. 10. 11.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 부분 변수 학습(Partial Variable Training, PVT)을 제안한다. PVT는 클라이언트당 네트워크 변수의 부분 집합만 학습함으로써 메모리 사용량과 통신 비용을 크게 줄이는 효율적인 온디바이스 연합학습(FL) 방법이다. PVT는 전체 모델 학습과 유사한 정확도를 유지하면서도 통신 비용을 최대 593배 감소시키고 메모리 사용량을 1.9배 감소시킨다. 이는 더 많은 로컬 스텝과 클라이언트 참여를 통해 달성된다.

ABSTRACT

This paper aims to address the major challenges of Federated Learning (FL) on edge devices: limited memory and expensive communication. We propose a novel method, called Partial Variable Training (PVT), that only trains a small subset of variables on edge devices to reduce memory usage and communication cost. With PVT, we show that network accuracy can be maintained by utilizing more local training steps and devices, which is favorable for FL involving a large population of devices. According to our experiments on two state-of-the-art neural networks for speech recognition and two different datasets, PVT can reduce memory usage by up to 1.9$ imes$ and communication cost by up to 593$ imes$ while attaining comparable accuracy when compared with full network training.

연구 동기 및 목표

• 제한된 메모리와 높은 통신 비용으로 인한 온디바이스 연합학습(FL)의 과제를 해결한다.
• 스마트폰 및 IoT 기기와 같은 자원이 제한된 엣지 디바이스에서 효율적인 FL을 가능하게 한다.
• 클라이언트당 학습 가능한 변수 수를 줄여도 높은 모델 정확도를 유지한다.
• 아키텍처 수정이나 네트워크 특화 지식이 필요 없는 방법을 개발한다.
• 변수 동결을 보완하기 위해 더 많은 로컬 스텝과 클라이언트 참여를 통해 대규모 FL 구현을 지원한다.

제안 방법

• PVT는 각 연합 라운드마다 학습 가능한 변수의 부분 집합(가중치, 편향, 스케일링 인자 등)을 선택하고 나머지 변수는 동결한다.
• 학습된 변수에 대한 기울기와 업데이트만 서버로 전송되므로 통신 오버헤드가 감소한다.
• 변수를 동결함으로써 역전파를 위한 활성화 버퍼링이 필요 없어져 메모리 사용량이 크게 감소한다.
• 변수를 덧셈 벡터(예: 편향), 곱셈 벡터(예: 정규화 스케일), 곱셈 행렬(예: 컨볼루션 가중치)으로 분류하며, 덧셈 벡터는 비용이 낮아 동결 대상에서 제외된다.
• 모든 클라이언트가 동일한 라운드에서 효과적으로 네트워크 업데이트를 수행할 수 있도록 클라이언트당 라운드별(PCPR) 기반의 전략을 사용한다.
• 이 방법은 아키텍처에 종속되지 않으며, 수정 없이 표준 신경망 구조와 호환된다.

Fig. 1 : The illustration of the proposed partial variable training. In this example, $Client\_1$ only trains $Layer\_1$ and sends back its change. Similarly, $Client\_2$ only trains $Layer\_2$ and sends back its change. The server updates both layers after receiving the changes from both clients.

실험 결과

연구 질문

• RQ1 FL에서 변수의 부분 집합만 학습함으로써 메모리 사용량과 통신 비용을 줄일 수 있을까? 이로 인해 모델 정확도가 떨어지지 않을까?
• RQ2 변수를 부분적으로 학습할 경우, 로컬 학습 스텝 수가 수렴성과 정확도에 미치는 영향은 어떠한가?
• RQ3 클라이언트 수를 늘리면 많은 수의 변수를 동결함으로써 발생하는 정확도 손실을 상쇄할 수 있을까?
• RQ4 동결할 변수의 선택(예: 덧셈형 vs. 곱셈형)이 효율성과 성능에 영향을 미칠까?
• RQ5 PVT는 아키텍처 수정 없이 다양한 신경망 아키텍처에 일반적으로 적용될 수 있을까?

주요 결과

• PVT는 음성 인식 모델에서 전체 모델 학습 대비 통신 비용을 최대 593배 감소시키고 메모리 사용량을 최대 1.9배 감소시킨다.
• IID Librispeech 데이터셋을 사용한 비스트리밍 Conformer 모델에서, 1024개의 클라이언트와 5개의 로컬 스텝을 사용한 PVT는 WER 2.1/5.0/2.3/4.9를 기록했으며, AVT의 2.0/4.8/2.2/4.6와 유사한 성능을 보였다.
• PVT에서 128개의 로컬 학습 스텝을 사용해도 수렴된 결과를 도출할 수 있어, 높은 로컬 업데이트 횟수에 대해 뛰어난 안정성을 입증했다.
• 클라이언트당 라운드별(PCPR) 기반의 전략은 전체 라운드 기반(PR) 전략보다 더 빠른 수렴을 가능하게 하며, 이는 전체 네트워크 업데이트를 효율적으로 수행하지 못하는 PR 기반 전략과 대비된다.
• 클라이언트 수를 128개에서 4096개로 늘임으로써 필요한 라운드 수를 350K에서 60K로 줄였고, 안정적인 WER 성능을 유지했다.
• 덧셈 벡터를 제외한 곱셈 행렬과 곱셈 벡터만 동결할 경우, 정확도 손실가 최소화되면서도 최적의 효율성을 달성한다.

Fig. 2 : The WER and convergence speed improvement while we sequentially apply PCPR scheme, not freezing additive vectors (NFAV), 5 local steps (5LS), 1024 clients (1024CL) to train non-streaming Conformer on IID Librispeech.