[논문 리뷰] SPIDER: Searching Personalized Neural Architecture for Federated Learning

Erum Mushtaq, Chaoyang He외 2명|arXiv (Cornell University)|2021. 12. 27.

Privacy-Preserving Technologies in Data인용 수 7

한 줄 요약

SPIDER는 가중치 공유 정규화를 통해 번갈아가며 이중 최적화를 수행하는 새로운 피어드 페더레이티드 러닝 프레임워크를 제안한다. 이 프레임워크는 글로벌 Supernet과 클라이언트별 개인화된 하위네트워크를 동시에 최적화한다. 진동 기반 신경망 아키텍처 탐색을 활용하여, 최신 개인화 방법보다 더 높은 테스트 정확도(1.4% 평균 향상)와 더 효율적인 추론 아키텍처를 달성한다.

ABSTRACT

Federated learning (FL) is an efficient learning framework that assists distributed machine learning when data cannot be shared with a centralized server due to privacy and regulatory restrictions. Recent advancements in FL use predefined architecture-based learning for all the clients. However, given that clients' data are invisible to the server and data distributions are non-identical across clients, a predefined architecture discovered in a centralized setting may not be an optimal solution for all the clients in FL. Motivated by this challenge, in this work, we introduce SPIDER, an algorithmic framework that aims to Search Personalized neural architecture for federated learning. SPIDER is designed based on two unique features: (1) alternately optimizing one architecture-homogeneous global model (Supernet) in a generic FL manner and one architecture-heterogeneous local model that is connected to the global model by weight sharing-based regularization (2) achieving architecture-heterogeneous local model by a novel neural architecture search (NAS) method that can select optimal subnet progressively using operation-level perturbation on the accuracy value as the criterion. Experimental results demonstrate that SPIDER outperforms other state-of-the-art personalization methods, and the searched personalized architectures are more inference efficient.

연구 동기 및 목표

• 데이터 이질성과 데이터 비가시성 문제를 해결하기 위해, 클라이언트별 신경망 아키텍처 탐색을 가능하게 하는 것.
• 개인화된 아키텍처가 서버에 공유되지 않는 프라이버시 보존 프레임워크를 설계하는 것.
• 최적화 전용 개인화 방법을 넘어서 모델 성능과 추론 효율성을 향상시키는 것.
• 글로벌 및 개인화된 로컬 모델을 동시에 최적화하는 스케일러블한 번갈아가는 학습 절차를 개발하는 것.
• 아키텍처 개인화가 비독립 동일 분포(Non-IID) 클라이언트 데이터 분포에서 더 나은 일반화와 강건성을 제공하는지 입증하는 것.

제안 방법

• SPIDER는 두 모델 아키텍처를 사용한다: 공유되는 글로벌 Supernet과 클라이언트별로 고유한 로컬 하위네트워크로, 모두 DARTS 탐색 공간에서 초기화된다.
• 프레임워크는 번갈아가는 이중 최적화를 사용한다: 글로벌 Supernet은 표준 FedAvg로 업데이트되고, 로컬 모델은 진동 기반 NAS를 통해 아키텍처 탐색을 수행한다.
• 글로벌 Supernet과 로컬 하위네트워크 간에 가중치 공유 기반 정규화를 적용하여 학습 안정성과 지식 전이를 가능하게 한다.
• SPIDER-Searcher는 운영 수준 정확도 값을 진동시켜 클라이언트별 최적의 하위네트워크를 선택함으로써 점진적인 아키텍처 탐색을 수행한다.
• 학습 과정은 세 단계로 나뉘며, Supernet 사전학습, 아키텍처 탐색, 최적화 조정 단계로 구성되며, 탐색 안정화를 위해 복구 라운드가 포함된다.
• 모델 효율성은 FLOPs와 추정 모델 크기를 통해 평가되며, 탐색 이후 계산 및 메모리 사용량이 크게 감소한 것으로 나타났다.

실험 결과

연구 질문

• RQ1 최적화 전용 개인화 방법과 비교해, 개인화된 신경망 아키텍처 탐색이 비독립 동일 분포(FedAvg) 환경에서 성능 향상에 기여하는가?
• RQ2 클라이언트 데이터 프라이버시를 유지하면서 모델 공유 없이 아키텍처 개인화를 어떻게 달성할 수 있는가?
• RQ3 운영 수준의 진동을 통한 점진적 아키텍처 탐색이 FL 환경에서 더 효율적이고 정확한 모델을 도출하는가?
• RQ4 가중치 공유 정규화가 연합 학습 중 글로벌 및 로컬 모델 업데이트를 효과적으로 정렬하는가?
• RQ5 Ditto, perFedAvg, 로컬 적응과 같은 최신 개인화 기준 모델과 비교해 SPIDER는 정확도, 강건성, 추론 효율성에서 어떻게 성과를 내는가?

주요 결과

• SPIDER는 Dirichlet 비독립 동일 분포 데이터를 가진 크로스실 페더레이티드 러닝 환경에서 8명의 클라이언트를 대상으로 perFedAvg보다 평균 1.4% 높은 테스트 정확도를 달성한다.
• 8명의 클라이언트 중 7명의 경우 SPIDER가 perFedAvg를 초월하며, 오직 한 명의 클라이언트(클라이언트 0)만 perFedAvg가 略로 더 우수한 성능을 보였다.
• 클라이언트 정확도의 표준편차는 0.02로, perFedAvg 및 로컬 적응과 동일하며 Ditto(0.03)를 능가하여 높은 일관성을 보였다.
• 탐색 과정 동안 평균 라운드당 FLOPs는 319M에서 62M로 감소하여 뚜렷한 계산 효율성 향상을 보였다.
• SPIDER의 최종 아키텍처의 추정 모델 크기는 14MB로, Supernet(104MB)과 ResNet18(44MB)보다 현저히 낮아 추론 효율성이 매우 높음을 시사한다.
• SPIDER가 탐색한 아키텍처는 더 효율적인 파라미터 수를 가지며, 모델 크기를 190만에서 345,000개로 줄여 자원 제약 환경에서의 배포에 유리하다.