[논문 리뷰] Federated Neural Architecture Search

Yuan, Jinliang, Mengwei Xu외 5명|arXiv (Cornell University)|2020. 02. 15.

Privacy-Preserving Technologies in Data참고 문헌 38인용 수 23

한 줄 요약

이 논문은 탈중앙화되고 개인정보 보호 기능을 갖춘 피어 페어드 러닝 환경에서 자동화된 신경망 아키텍처 탐색을 가능하게 하는 새로운 패러다임인 연합 신경망 아키텍처 탐색(Federated NAS)을 제안한다. DecNAS—병렬 후보 학습, 동적 라운드 스케줄링, 조기 후보 제거를 특징으로 하는 프레임워크—를 도입함으로써, 중심화된 NAS와 유사한 최고 수준의 정확도를 달성하면서도 클라이언트의 통신 및 계산 비용을 최대 200배까지 감소시킨다.

ABSTRACT

To preserve user privacy while enabling mobile intelligence, techniques have been proposed to train deep neural networks on decentralized data. However, training over decentralized data makes the design of neural architecture quite difficult as it already was. Such difficulty is further amplified when designing and deploying different neural architectures for heterogeneous mobile platforms. In this work, we propose an automatic neural architecture search into the decentralized training, as a new DNN training paradigm called Federated Neural Architecture Search, namely federated NAS. To deal with the primary challenge of limited on-client computational and communication resources, we present FedNAS, a highly optimized framework for efficient federated NAS. FedNAS fully exploits the key opportunity of insufficient model candidate re-training during the architecture search process, and incorporates three key optimizations: parallel candidates training on partial clients, early dropping candidates with inferior performance, and dynamic round numbers. Tested on large-scale datasets and typical CNN architectures, FedNAS achieves comparable model accuracy as state-of-the-art NAS algorithm that trains models with centralized data, and also reduces the client cost by up to two orders of magnitude compared to a straightforward design of federated NAS.

연구 동기 및 목표

• 탈중앙화되고 개인정보 보호 기능을 갖춘 연합 학습 환경에서 효율적인 신경망 아키텍처 설계의 과제를 해결하기 위해.
• 자원 제약이 있는 모바일 클라이언트에서 신경망 아키텍처 탐색(NAS)의 높은 계산 및 통신 비용을 줄이기 위해.
• 다양한 자원 예산을 가진 이질적인 모바일 플랫폼에 적응하는 자동 아키텍처 탐색을 가능하게 하기 위해.
• 데이터 프라이버시를 보장하기 위해 연합 학습을 통해 중심화된 NAS와 유사한 높은 모델 정확도를 유지하기 위해.
• 자원 사용을 동적으로 최적화함으로써 확장성 있고 효율적인 프레임워크를 개발하기 위해.

제안 방법

• DecNAS는 아키텍처 탐색과 모델 학습을 분리하여 클라우드에서 탐색 조율를 담당하고 클라이언트에서 로컬 학습을 수행함으로써 데이터 프라이버시를 유지한다.
• 클라이언트를 그룹화하여 서로 다른 클라이언트 그룹에서 병렬로 여러 DNN 후보를 동시에 학습하고 테스트함으로써 병렬 튜닝을 구현한다.
• 각 그룹이 다양한 데이터 분포와 크기를 반영하도록 체계적인 클라이언트 분할 알고리즘을 적용하여 후보 평가의 일반화 성능을 향상시킨다.
• 성능 추세에 따라 각 후보에 대한 학습 라운드 수를 동적으로 조정함으로써 불필요한 계산을 줄인다.
• 최소한의 학습 후 성능이 열열한 후보를 조기에 제거하여 생산적인 학습 루프를 차단하고 클라이언트 자원을 절약한다.
• 전체 재학습을 줄이기 위해 후보 성능을 추론하기 위해 프록시 작업 방식을 사용하며, NAS 내재적 레이어의 중복성을 활용한다.

실험 결과

연구 질문

• RQ1 탈중앙화되고 개인정보 보호 기능을 갖춘 연합 학습 환경에서 신경망 아키텍처 탐색을 효율적으로 수행할 수 있는가?
• RQ2 모델 정확도를 훼손하지 않고도 연합 NAS 동안 클라이언트 측 계산 및 통신 비용을 최소화할 수 있는가?
• RQ3 부분적 클라이언트 참여와 동적 라운드 스케줄링이 자원 제약 조건 하에서 탐색 정확도를 유지하는 데 어떤 역할을 하는가?
• RQ4 클라이언트 간에 비독립적이고 비균일한 데이터 분포가 연합 환경에서 아키텍처 탐색의 신뢰성에 어떤 영향을 미치는가?
• RQ5 조기 제거와 병렬 학습을 통해 얼마나 효율적으로 종단 간 탐색 비용을 줄일 수 있으며, 성능 유지는 유지할 수 있는가?

주요 결과

• DecNAS는 ImageNet에서 75%의 MobileNet 복잡도로 Top-1 정확도 68.8%를 달성하며, 중심화된 NAS와 동일한 성능을 보이며 클라이언트 업링크 비용을 최대 86%까지 감소시켰다.
• 100개의 클라이언트 그룹을 사용할 경우, 기본 14개 그룹 설정 대비 클라이언트 간 통신 비용을 86% 감소시켰지만 정확도는 0.3% 감소했다.
• 7개의 클라이언트 그룹만 사용할 경우 기본 설정 대비 업링크 비용이 100% 증가했으며, 정확도 향상도 최소한(0.1% 향상)에 그쳐 과다 분할의 비효율성을 확인했다.
• 10라운드 미만의 단기 피니튜닝은 모델 수렴이 부족하여 정확도 저하를 초래함을 확인했으며, 이는 동적 라운드 스케줄링의 필요성을 강조한다.
• 아키텍처 생성 후 장기적인 피니튜닝은 모델 정확도를 최대 20%까지 향상시키며, 선택 후 연장된 학습의 가치를 입증한다.
• 단순한 연합 NAS 구현 대비 DecNAS는 클라이언트 비용을 최대 200배까지 감소시켜 모바일 디바이스에서의 대규모 배포 가능성을 확보했다.