[논문 리뷰] Resource-Aware Heterogeneous Federated Learning using Neural Architecture Search

Sixing Yu, Muñoz, J. Pablo외 1명|arXiv (Cornell University)|2022. 11. 09.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 이질적인 엣지 디바이스에 맞춤형으로 자원 효율적인 모델 아키텍처를 구현하기 위해 신경망 구조 탐색(NAS)을 활용하는 자원 인지형 분산 학습(RaFL)이라는 새로운 프레임워크를 제안한다. NAS를 지식 정복과 다중 모델 융합과 통합함으로써 RaFL은 기존 최고 수준의 방법들보다 수렴 성능이 뛰어나며, 모델 복잡도는 3.23배 감소하고 통신 비용은 1260GB 감소시켰지만, 데이터 및 시스템 이질성 조건에서도 높은 정확도를 유지한다.

ABSTRACT

Federated Learning (FL) is extensively used to train AI/ML models in distributed and privacy-preserving settings. Participant edge devices in FL systems typically contain non-independent and identically distributed (Non-IID) private data and unevenly distributed computational resources. Preserving user data privacy while optimizing AI/ML models in a heterogeneous federated network requires us to address data and system/resource heterogeneity. To address these challenges, we propose Resource-aware Federated Learning (RaFL). RaFL allocates resource-aware specialized models to edge devices using Neural Architecture Search (NAS) and allows heterogeneous model architecture deployment by knowledge extraction and fusion. Combining NAS and FL enables on-demand customized model deployment for resource-diverse edge devices. Furthermore, we propose a multi-model architecture fusion scheme allowing the aggregation of the distributed learning results. Results demonstrate RaFL's superior resource efficiency compared to SoTA.

연구 동기 및 목표

• 엣지 디바이스의 계산 자원이 상이하고 데이터 분포가 비독립 동일분포(Non-IID)인 분산 학습 환경에서의 시스템 및 데이터 이질성 문제를 해결한다.
• 모든 클라이언트에 동일한 모델을 적용하는 대신, 클라이언트별로 최적에 가까운 신경망 아키텍처를 도입하여 자원 활용도를 향상시킨다.
• 가벼운 지식 네트워크를 도입하여 대규모 분산 학습 환경에서의 통신 오버헤드를 줄인다.
• 이중 지식 정복과 다중 모델 융합을 통해 이질적인 모델 아키텍처 간 효과적인 지식 융합을 가능하게 한다.
• 자원 제약이 있는 디바이스에서 에너지 소비를 최소화하면서도 고정확도와 고속 추론 성능을 달성한다.

제안 방법

• 로컬 계산 자원 제약 조건을 기반으로 클라이언트별로 자원 인지형, 고유한 서브넷을 생성하기 위해 분산 학습 파이프라인에 신경망 구조 탐색(NAS)을 통합한다.
• 모든 이질적인 클라이언트 간 지식 전달을 표준화하기 위해 공유된 작고 가벼운 학생 네트워크를 글로벌 지식 매개체로 도입한다.
• 클라이언트 고유 모델과 해당 학생 네트워크 간의 깊은 상호 학습을 통해 지식 공유 및 모델 강건성을 향상시킨다.
• 앙상블 정복을 활용한 다중 모델 아키텍처 융합을 통해 국소 지식을 융합하고 글로벌 모델 성능을 향상시킨다.
• 각 클라이언트의 능력에 맞게 다양하고 낮은 복잡도의 아키텍처를 효율적으로 생성하기 위해 슈퍼넷 풀을 활용한다.
• 이식 가능 학습, 공개 데이터, 앙상블 방법과의 탄력적 통합을 통해 확장성과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 NAS가 분산 학습에 효과적으로 통합되어 클라이언트별 자원 효율적인 모델 아키텍처를 생성할 수 있는가?
• RQ2 지식 정복을 통한 이질적 모델 배포 방식이 비독립 동일분포 및 시스템 이질성 조건에서의 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ3 다양한 자원 제약 조건 하에서 기존 최고 수준의 분산 학습 방법들과 비교해 RaFL이 통신 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 클라이언트 간 계산 능력 격차가 클 경우 RaFL이 어떻게 높은 정확도와 안정성을 유지하는가?
• RQ5 앙성 정복과 다중 모델 융합이 이질적 분산 학습 환경에서 글로벌 모델의 강건성과 일반화 능력을 향상시키는가?

주요 결과

• ResNet 기반으로 RaFL은 CIFAR-100에서 65%의 정확도를 달성했으며, 이는 모델 용량이 훨씬 작은 상황에서 FedNova(43%)와 FedAvg(40%)를 크게 앞서는 성능이다.
• RaFL은 기존 최고 수준의 기준 모델 대비 총 통신 비용을 1260GB 감소시켜 대규모 분산 학습 환경에서의 효율성 향상을 뚜렷이 입증했다.
• RaFL의 평균 모델 용량은 47 MFLOPs로 기준 모델 대비 3.23배 낮았으며, 극한의 자원 이질성 조건에서도 높은 성능을 유지했다.
• 저성능 디바이스에서는 96%의 자원 활용도를 달성했고 고성능 디바이스에서는 90%를 기록했으며, 동일한 제약 조건 하에서 기준 모델 대비 활용 효율성에서 13.3% 높은 성능을 보였다.
• 3000명의 클라이언트를 포함한 대규모 FEMNIST 실험에서 RaFL은 FedAvg와 동일한 테스트 정확도를 달성했지만 통신 오버헤드를 50% 이상 감소시켰다.
• 클라이언트 간 계산 능력 차이가 최대 2배까지 발생하는 상황에서도 안정적인 수렴과 유사한 학습 추세를 보였으며, 이는 시스템 이질성에 대한 강건성을 입증한다.