[논문 리뷰] Federated Dropout -- A Simple Approach for Enabling Federated Learning on Resource Constrained Devices

Dingzhu Wen, Ki Jun Jeon외 1명|arXiv (Cornell University)|2021. 09. 30.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

이 논문은 자원이 제한된 디바이스의 개별 C²(통신 및 계산) 능력에 따라 이질적이고 무작위로 잘린 서브넷(드롭아웃를 통해)을 할당하여 피에드레이티드 러닝에서 통신 및 계산 오버헤드를 줄이는 새로운 프레임워크인 페더레이티드 드롭아웃(FedDrop)을 제안한다. FedDrop은 모델 다양성과 정확도를 향상시켜 일반적인 FL 및 균일한 드롭아웃보다 우수하며, 높은 드롭아웃 비율에서 CIFAR-10에서 최대 2.5%의 정확도 향상을 달성한다.

ABSTRACT

Federated learning (FL) is a popular framework for training an AI model using distributed mobile data in a wireless network. It features data parallelism by distributing the learning task to multiple edge devices while attempting to preserve their local-data privacy. One main challenge confronting practical FL is that resource constrained devices struggle with the computation intensive task of updating of a deep-neural network model. To tackle the challenge, in this paper, a federated dropout (FedDrop) scheme is proposed building on the classic dropout scheme for random model pruning. Specifically, in each iteration of the FL algorithm, several subnets are independently generated from the global model at the server using dropout but with heterogeneous dropout rates (i.e., parameter-pruning probabilities),each of which is adapted to the state of an assigned channel. The subnets are downloaded to associated devices for updating. Thereby, FedDrop reduces both the communication overhead and devices' computation loads compared with the conventional FL while outperforming the latter in the case of overfitting and also the FL scheme with uniform dropout (i.e., identical subnets).

연구 동기 및 목표

• 자원이 제한된 엣지 디바이스에서 피에드레이티드 러닝의 통신 및 계산 병목 현상이라는 이중 과제를 해결한다.
• 기존 방법의 한계를 극복한다. 이는 성능 저하 또는 복잡성 증가를 초래한다.
• 이종적인 능력을 지닌 모바일 및 IoT 디바이스에서 효율적이고 프라이버시를 보장하는 모델 훈련을 가능하게 한다.
• 드롭아웃을 정규화 외에도 FL에서 동적 로드 밸런싱 메커니즘으로 활용한다.
• 비균일한 서브넷 업데이트를 통해 모델 다양성을 증가시켜 모델 일반화 및 수렴을 향상시킨다.

제안 방법

• 각 디바이스의 통신 속도와 계산 용량에 따라 다릅니다. 각 디바이스에 대해 개별적으로 통신 속도와 계산 용량에 따라 다른 드롭아웃 비율을 적용하여 글로벌 모델에서 여러 서브넷을 생성한다.
• 각 디바이스에 대해 개별적으로 통신 속도와 계산 용량에 따라 다른 드롭아웃 비율을 적용하여 다수의 서브넷을 생성한다.
• 각 디바이스의 드롭아웃 비율을 조정하여 라운드당 지연 시간을 최소화하면서도 모델 업데이트 품질을 균형 잡는다.
• 전체 모델이 아닌 잘린 서브넷만 훈련하고 전송함으로써 통신 및 계산 부담을 줄인다.
• 서버에서 업데이트된 서브넷을 집계하여 글로벌 모델을 재구성하고 업데이트한다.
• 라운드당 지연 시간 제약 조건을 활용하여 C² 효율성과 모델 성능을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 드롭아웃은 정규화 외에도 피에드레이티드 러닝에서 동적 로드 밸런싱 메커니즘으로 재사용될 수 있는가?
• RQ2 디바이스 능력에 기반한 이질적 서브넷 할당이 균일한 드롭아웃과 비교해 훈련 지연 시간과 모델 정확도에 어떤 영향을 미치는가?
• RQ3 서브넷 업데이트를 사용할 경우 통신/계산 오버헤드 감소와 성능 저하 사이의 트레이드오프는 어떠한가?
• RQ4 기존의 FL 및 균일한 드롭아웃과 비교해 FedDrop이 모델 일반화를 향상시키고 과적합을 줄이는가?
• RQ5 비독립 동일 분포(non-IID) 데이터 및 다양한 모델 복잡도 하에서 FedDrop의 성능은 어떻게 변하는가?

주요 결과

• 드롭아웃 비율이 0.6일 때, CIFAR-10 데이터셋에서 균일한 드롭아웃보다 FedDrop이 최대 2.5% 높은 테스트 정확도를 달성한다.
• FedDrop은 특히 과적합 조건에서 일반적인 FL 및 균일한 드롭아웃보다 항상 높은 모델 정확도를 기록한다.
• 더 엄격한 라운드당 지연 시간 제약 조건에서 FedDrop과 균일한 드롭아웃 간의 성능 격차가 커지며, 이는 뛰어난 효율성을 시사한다.
• 비독립 동일 분포(non-IID) 데이터에서 CNNMnist 모델의 경우, 둘 다 드롭아웃 비율 증가에 따라 약간의 성능 저하를 보이지만, FedDrop은 모든 비율에서 더 높은 정확도를 유지한다.
• FedDrop은 잘린 서브넷만 훈련함으로써 통신 및 계산 오버헤드를 줄이며, 각 디바이스의 C² 부담을 원래 모델 크기의 (1−p)²로 감소시킨다.
• 이 방법은 모델 다양성과 계산 가능성을 효과적으로 균형 잡아, 이종적인 능력을 지닌 디바이스에서 효율적인 훈련을 가능하게 한다.