[논문 리뷰] Group Knowledge Transfer: Federated Learning of Large CNNs at the Edge

Chaoyang He, Murali Annavaram외 1명|arXiv (Cornell University)|2020. 07. 28.

Privacy-Preserving Technologies in Data참고 문헌 77인용 수 190

한 줄 요약

이 논문은 엣지 디바이스에 대한 연합학습을 FedGKT로 재구성합니다. 그룹 지식 전이 프레임워크로, 작은 엣지 CNN을 학습하고 지식 증류를 통해 대형 서버 CNN과 동기화하여 엣지 컴퓨트와 통신을 줄이면서 FedAvg에 필적하는 정확도를 달성합니다.

ABSTRACT

Scaling up the convolutional neural network (CNN) size (e.g., width, depth, etc.) is known to effectively improve model accuracy. However, the large model size impedes training on resource-constrained edge devices. For instance, federated learning (FL) may place undue burden on the compute capability of edge nodes, even though there is a strong practical need for FL due to its privacy and confidentiality properties. To address the resource-constrained reality of edge devices, we reformulate FL as a group knowledge transfer training algorithm, called FedGKT. FedGKT designs a variant of the alternating minimization approach to train small CNNs on edge nodes and periodically transfer their knowledge by knowledge distillation to a large server-side CNN. FedGKT consolidates several advantages into a single framework: reduced demand for edge computation, lower communication bandwidth for large CNNs, and asynchronous training, all while maintaining model accuracy comparable to FedAvg. We train CNNs designed based on ResNet-56 and ResNet-110 using three distinct datasets (CIFAR-10, CIFAR-100, and CINIC-10) and their non-I.I.D. variants. Our results show that FedGKT can obtain comparable or even slightly higher accuracy than FedAvg. More importantly, FedGKT makes edge training affordable. Compared to the edge training using FedAvg, FedGKT demands 9 to 17 times less computational power (FLOPs) on edge devices and requires 54 to 105 times fewer parameters in the edge CNN. Our source code is released at FedML (https://fedml.ai).

연구 동기 및 목표

• 자원 제약이 있는 엣지 디바이스에서 데이터를 중앙집중화하지 않고 대형 CNN 학습을 동기부여합니다.
• 컴퓨테이션을 서버로 이동시키되 엣지 워크로드를 가볍게 유지하기 위해 FedGKT를 제안합니다.
• 엣지 FLOPs와 매개변수 수를 크게 줄이면서도 FedAvg와 유의미한 정확도를 달성합니다.
• 다수의 엣지 클라이언트 간 비동기 학습과 지식 증류를 탐색합니다.

제안 방법

• FL을 엣지 모델과 서버 모델 사이의 교대 최소화 문제로 재정의합니다.
• 각 클라이언트에서 작은 엣지 특징 추출기와 로컬 분류기, 클라우드의 대형 서버 CNN을 사용합니다.
• 엣지와 서버 모델 간 양방향 지식 증류 손실(KL/발산 항)을 도입하여 학습을 안정화합니다.
• 은닉 특징과 서버 로짓을 교환하면서 서버와 엣지 구성요소를 교대 단계에서 학습합니다.
• 서버가 어떠한 클라이언트로부터 입력을 받자마자 학습을 시작하는 비동기 학습 변형을 채택합니다.

실험 결과

연구 질문

• RQ1 FedGKT가 엣지 계산량과 매개변수 수를 크게 줄이면서 FedAvg의 정확도에 맞출 수 있습니까?
• RQ2 양방향 지식 전달이 비IID 엣지 데이터에서 수렴 및 성능을 개선합니까?
• RQ3 비동기 FedGKT 학습이 동기식 접근법에 비해 견고하고 시간 효율적입니까?
• RQ4 실무에서 FedGKT의 통신, 프라이버시 및 확장성의 트레이드오프는 무엇입니까?

주요 결과

• FedGKT는 IID 및 비IID 데이터에서 CIFAR-10, CIFAR-100, CINIC-10에서 FedAvg와 비교하거나 다소 높은 정확도를 달성합니다.
• FedGKT의 엣지 계산은 9~17배 낮고(FLOPs), 엣지 CNN 매개변수는 FedAvg 벤치마크에 비해 54~105배 적습니다.
• 비동기 FedGKT 학습은 동기식 학습에 비해 정확도 저하가 없습니다.
• 양방향 지식 전달(서버→엣지 및 엣지→서버)은 특히 더 까다로운 비IID 데이터셋에서 성능을 향상시킵니다.
• FedGKT는 전체 모델 대신 은닉 특징을 교환하여 엣지 메모리와 통신 대역폭을 감소시킵니다.