[논문 리뷰] Towards Non-I.I.D. and Invisible Data with FedNAS: Federated Deep Learning via Neural Architecture Search

Chaoyang He, Murali Annavaram외 1명|arXiv (Cornell University)|2020. 04. 18.

Privacy-Preserving Technologies in Data참고 문헌 10인용 수 30

한 줄 요약

본 논문은 FedNAS를 소개합니다. FedNAS는 비 IID 에지 클라이언트 간의 협력적 CNN 아키텍처 탐색 방법으로 정확도를 향상시키고 FedAvg과 같은 수동 설계 베이스라인보다 성능이 우수합니다. 또한 AutoFL 시스템 구현과 비 IID 분포에서 CIFAR-10에 대한 실험 결과를 제시합니다.

ABSTRACT

Federated Learning (FL) has been proved to be an effective learning framework when data cannot be centralized due to privacy, communication costs, and regulatory restrictions. When training deep learning models under an FL setting, people employ the predefined model architecture discovered in the centralized environment. However, this predefined architecture may not be the optimal choice because it may not fit data with non-identical and independent distribution (non-IID). Thus, we advocate automating federated learning (AutoFL) to improve model accuracy and reduce the manual design effort. We specifically study AutoFL via Neural Architecture Search (NAS), which can automate the design process. We propose a Federated NAS (FedNAS) algorithm to help scattered workers collaboratively searching for a better architecture with higher accuracy. We also build a system based on FedNAS. Our experiments on non-IID dataset show that the architecture searched by FedNAS can outperform the manually predefined architecture.

연구 동기 및 목표

• 비 IID 데이터 분포와 아키텍처 적합성 문제를 다루기 위한 자동화 연합학습(AutoFL)을 촉진한다.
• 분산 클라이언트 전반에 걸쳐 아키텍처와 가중치를 공동 최적화하는 FedNAS 프레임워크를 제안한다.
• 비 IID 데이터에서 FedNAS가 수작업으로 설계된 아키텍처보다 높은 정확도를 갖는 아키텍처를 찾을 수 있음을 시연한다.
• 비 IID 분포를 갖는 CIFAR-10에 대한 AutoFL 시스템 설계 및 실증 평가를 제공한다.

제안 방법

• 각 클라이언트에서 가중치와 아키텍처를 최적화하기 위해 로컬 NAS 탐색기로 MiLeNAS를 사용한다.
• 그라디언트 기반 탐색을 가능하게 하기 위해 미분 가능한 혼합 연산 셀을 통해 아키텍처를 표현한다.
• 클라이언트 간 라운드별 가중치와 아키텍처를 가중합으로 연합 집계한다.
• 분산 NAS 및 학습을 위해 FedML과 PyTorch로 구축된 AutoFL 시스템에 FedNAS를 통합한다.
• CIFAR-10에서 비 IID 데이터 시나리오를 평가하고 수동 설계된 DenseNet을 사용한 FedAvg와 비교한다.

실험 결과

연구 질문

• RQ1 비 IID 데이터가 있는 연합 학습 환경에서 협업 NAS 프레임워크가 모델 성능을 향상시킬 수 있는가?
• RQ2 FedNAS가 이질적인 데이터 분포 하에서 수작업으로 설계된 기준선보다 성능이 우수한 CNN 아키텍처를 찾을 수 있는가?
• RQ3 실제에서 Federated NAS와 전통적인 FedAvg 간의 효율성 및 통신 트레이드오프는 무엇인가?

주요 결과

• FedNAS는 비 IID CIFAR-10 분포에서 FedAvg보다 테스트 정확도가 더 높게 나타남(평균 약 4% 향상).
• 탐색 단계에서 FedNAS는 수작업으로 설계된 아키텍처를 사용하는 FedAvg보다 이미 더 잘 수행할 수 있다.
• FedNAS는 분산 환경에서 매개변수 수가 더 적은 아키텍처를 찾아 FedAvg와 경쟁력 있는 성능을 제공한다.
• 저자는 분산 GPU 자원(예: 16 클라이언트)을 사용할 때 중앙 집중식/수동 탐색에 비해 더 빠른 탐색/평가 주기를 보고한다.
• FedNAS를 기반으로 한 AutoFL 시스템은 연합 NAS 작업의 실제 배포 가능성을 보여준다.