[논문 리뷰] AdapterFL: Adaptive Heterogeneous Federated Learning for Resource-constrained Mobile Computing Systems

Ruixuan Liu, Ming Hu외 6명|arXiv (Cornell University)|2023. 11. 23.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

AdapterFL는 자원이 제한된 모바일 디바이스에서 대규모 및 소규모 모델의 일부 파라미터를 조합하여 모델을 적응적으로 재구성함으로써 효율적인 훈련을 가능하게 하는 혁신적인 이종 피어드 학습 프레임워크를 제안한다. 이는 이종성, 비독립 동일 분포(non-IID), 자원이 제한된 환경에서 기존 최고 수준의 방법보다 최대 12% 높은 정확도를 달성한다.

ABSTRACT

Federated Learning (FL) enables collaborative learning of large-scale distributed clients without data sharing. However, due to the disparity of computing resources among massive mobile computing devices, the performance of traditional homogeneous model-based Federated Learning (FL) is seriously limited. On the one hand, to achieve model training in all the diverse clients, mobile computing systems can only use small low-performance models for collaborative learning. On the other hand, devices with high computing resources cannot train a high-performance large model with their insufficient raw data. To address the resource-constrained problem in mobile computing systems, we present a novel heterogeneous FL approach named AdapterFL, which uses a model reassemble strategy to facilitate collaborative training of massive heterogeneous mobile devices adaptively. Specifically, we select multiple candidate heterogeneous models based on the computing performance of massive mobile devices and then divide each heterogeneous model into two partitions. By reassembling the partitions, we can generate models with varied sizes that are combined by the partial parameters of the large model with the partial parameters of the small model. Using these reassembled models for FL training, we can train the partial parameters of the large model using low-performance devices. In this way, we can alleviate performance degradation in large models due to resource constraints. The experimental results show that AdapterFL can achieve up to 12\% accuracy improvement compared to the state-of-the-art heterogeneous federated learning methods in resource-constrained scenarios.

연구 동기 및 목표

• 모바일 및 WoT 시스템에서 기기 자원 이종성으로 인한 성능 저하 문제를 해결한다.
• 기존 피어드 학습의 한계를 극복한다. 즉, 글로벌 모델 크기가 성능이 가장 낮은 기기의 제약을 받는다.
• 자원이 제한된 기기들이 효과적으로 기여할 수 있도록 고성능 기기들이 제한된 로컬 데이터에서도 더 큰 모델을 훈련시킬 수 있도록 한다.
• 추가 데이터셋이 필요 없이 기기 성능에 따라 동적으로 선택 및 재구성하는 유연하고 적응적인 프레임워크를 설계한다.
• 비독립 동일 분포 데이터와 다양한 클라이언트 자원 비율 조건 하에서 모델의 일반화 능력과 확장성을 향상시킨다.

제안 방법

• 모바일 기기의 컴퓨팅 능력에 기반해 소형, 중형, 대형 등의 다양한 후보 이종 모델을 선택한다.
• 각 모델을 기능적으로 두 구성 요소로 분할한다: 특징 추출 블록과 분류기 헤드.
• 대규모 모델의 특징 추출 블록과 소규모 모델의 분류기 헤드를 조합하여 크기가 다른 하이브리드 모델을 재구성한다.
• 재구성된 모델을 피어드 학습 방식으로 훈련시며, 저성능 기기는 분류기 헤드를, 고성능 기기는 더 복잡한 특징 추출 블록을 훈련시킨다.
• 일괄 기반 전략(L-group)을 사용해 모델 선택 및 집약을 최적화함으로써 일반화 능력과 강건성을 향상시킨다.
• 공유된 특징 표현을 통해 재구성된 모델 간 지식 전이를 활용함으로써 자원 제약으로 인한 성능 손실를 최소화한다.

실험 결과

연구 질문

• RQ1 자원 이종성이 뚜렷한 모바일 컴퓨팅 환경에서 피어드 학습의 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 고성능 기기에서 훈련 데이터가 제한될 경우 대규모 및 소규모 모델의 재구성 전략이 성능 향상에 기여할 수 있는가?
• RQ3 비독립 동일 분포 데이터 분포와 다양한 클라이언트 자원 비율 조건 하에서 제안된 AdapterFL 프레임워크의 성능은 어떠한가?
• RQ4 기존의 이종 피어드 학습 방법과 비교해 볼 때 재구성 전략이 모델 정확도 향상에 얼마나 기여하는가?
• RQ5 클라이언트 수와 다양한 클라이언트 활성화 비율 조건 하에서 AdapterFL의 확장성은 어느 정도인가?

주요 결과

• AdapterFL은 자원이 제한된 환경에서 기존 최고 수준의 이종 피어드 학습 방법보다 최대 12% 높은 정확도를 달성한다.
• CIFAR-10 데이터셋에서 L-group 구성으로 80%의 클라이언트가 저성능(소형 모델)일 경우 AdapterFL은 76.83%의 정확도를 기록했으며, FedBase를 능가했다.
• 80%의 클라이언트가 고성능일 경우, AdapterFL은 L-M 모델로 79.32%의 정확도를 달성했으며, FedBase의 72.03%에 비해 뚜렷한 우월성을 보였다.
• 클라이언트 활성화 비율이 5%일 경우, AdapterFL은 75.11%의 정확도(L-S)를 기록했으며, FedBase의 73.49%보다 높았다.
• 클라이언트 총 수가 50에서 500으로 증가함에 따라 AdapterFL은 높은 정확도를 유지했다 (예: N=50일 때 L-S 구성의 정확도는 77.72% 대비 FedBase의 76.29%로, 확장성 입증).
• L-group 재구성 전략은 다른 구성보다 일관되게 뛰어난 성능을 보였으며, 대규모 모델의 특징 추출 블록이 일반화 능력과 강건성을 향상시킨다는 점을 입증했다.