[논문 리뷰] Real-time Federated Evolutionary Neural Architecture Search

Hangyu Zhu, Yaochu Jin|arXiv (Cornell University)|2020. 03. 04.

Privacy-Preserving Technologies in Data참고 문헌 53인용 수 16

한 줄 요약

이 논문은 실시간 피어드된 진화적 신경망 아키텍처 탐색(NAS) 프레임워크를 제안하며, 이중 샘플링 기법을 통해 통신 및 계산 비용을 줄여 피어드된 학습 환경에서 효율적이고 안정적이며 경쟁력 있는 모델 탐색을 가능하게 한다. 이 방법은 한 번의 통신 라운드 동안 마스터 모델에서 서브모델을 무작위로 샘플링하고, 이를 무작위로 선택된 클라이언트들에서 재초기화 없이 훈련시어, 오프라인 방법보다 빠른 수렴 속도와 낮은 자원 사용을 달성한다.

ABSTRACT

Federated learning is a distributed machine learning approach to privacy preservation and two major technical challenges prevent a wider application of federated learning. One is that federated learning raises high demands on communication, since a large number of model parameters must be transmitted between the server and the clients. The other challenge is that training large machine learning models such as deep neural networks in federated learning requires a large amount of computational resources, which may be unrealistic for edge devices such as mobile phones. The problem becomes worse when deep neural architecture search is to be carried out in federated learning. To address the above challenges, we propose an evolutionary approach to real-time federated neural architecture search that not only optimize the model performance but also reduces the local payload. During the search, a double-sampling technique is introduced, in which for each individual, a randomly sampled sub-model of a master model is transmitted to a number of randomly sampled clients for training without reinitialization. This way, we effectively reduce computational and communication costs required for evolutionary optimization and avoid big performance fluctuations of the local models, making the proposed framework well suited for real-time federated neural architecture search.

연구 동기 및 목표

• 피어드된 학습에서 신경망 아키텍처 탐색(NAS)을 수행할 때 발생하는 높은 통신 및 계산 비용을 해결하기 위해.
• 각 세대마다 재초기화 및 전체 재학습이 필요한 오프라인 진화적 NAS의 한계를 극복하여, 피어드된 환경에서의 안정성과 효율성을 향상시키기 위해.
• 진화적 최적화와 경량적이고 누적적인 모델 업데이트를 통합하여, 피어드된 환경에서 실시간, 즉각적인 NAS를 가능하게 하기 위해.
• 최적화 과정에서 모델 정확도와 FLOPs(계산 복잡도) 사이의 파레토 최적 트레이드오프를 유지하면서 안정적인 성능을 확보하기 위해.
• 저지연과 프라이버시가 핵심적인 실세계 응용 분야, 예를 들어 온라인 추천 시스템에 적합하고 확장 가능한 프레임워크를 개발하기 위해.

제안 방법

• 이중 샘플링 기법을 도입: 마스터 모델에서 무작위로 서브모델을 샘플링하고, 이를 재초기화 없이 무작위로 선택된 클라이언트 집합에 전송하여 훈련한다.
• 모든 개체에 대해 동일한 마스터 모델을 공유함으로써 중복된 훈련과 통신 오버헤드를 줄인다.
• 클라이언트들은 자신의 데이터를 사용해 샘플된 서브모델을 국지적으로 훈련하고, 업데이트된 서브모델들을 한 번의 통신 라운드 내에서 집계하여 마스터 모델을 업데이트한다.
• 진화 알고리즘은 모델 정확도와 FLOPs 사이에서 다목적 최적화를 수행하며, 다양한 파레토 최적 아키텍처 집합을 유지한다.
• 후손 모델을 재초기화하지 않아 훈련 진전을 유지하고, 오프라인 NAS에서 흔히 발생하는 성능 저하 문제를 방지한다.
• 각 세대당 샘플링되는 클라이언트 수는 인구집단 크기와 클라이언트 가용성에 비례하여, 균형 잡힌 부하 분산과 효율적인 자원 활용을 보장한다.

실험 결과

연구 질문

• RQ1 통신 및 계산 비용을 줄이면서도 모델 성능을 유지할 수 있는 실시간 피어드된 NAS 프레임워크를 설계할 수 있는가?
• RQ2 이중 샘플링 기법이 피어드된 환경에서 진화적 NAS의 안정성과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 기존의 ResNet18과 같은 표준 모델에 비해 상당히 낮은 FLOPs로 경쟁 가능한 정확도를 달성할 수 있는가?
• RQ4 실시간 진화적 NAS는 오프라인 피어드된 NAS에 비해 훈련 효율성과 최종 모델 성능 측면에서 어떻게 비교되는가?
• RQ5 프레임워크는 비독립 동일 분포(non-IID) 데이터 분포를 효과적으로 처리하고 다양한 클라이언트 데이터에서 안정적인 성능을 유지할 수 있는가?

주요 결과

• 제안된 실시간 진화적 NAS는 최소한의 변동성을 보이며 안정적인 성능을 달성하였으며, 약 200회의 통신 라운드 후 ResNet18를 초월하는 성능을 보였다.
• 제안된 방법을 통해 발견한 최고의 모델은 테스트 정확도가 75% 이상을 달성하여, 동일한 설정에서 75%를 초과하지 못한 오프라인 진화적 NAS의 성능을 뛰어넘었다.
• 실시간 방법이 발견한 파레토 최적 솔루션은 ResNet18보다 상당히 낮은 FLOPs를 기록하여 계산 복잡도가 감소한 것을 입증하였다.
• 실시간 NAS 프레임워크는 오프라인 대비 각 세대당 약 5배 빠른 속도를 기록하였으며, 500세대에 대해 GPU당 약 16.1시간의 훈련 시간을 기록하였다.
• 프레임워크는 재초기화로 인한 성능 저하 문제를 효과적으로 방지하며 모델 안정성을 유지하였다. 이는 오프라인 NAS에서 주요 문제로 지적되는 사항이다.
• 메서드는 정확도-FLOPs 트레이드오프에 걸쳐 균일하게 분포된 파레토 최적 솔루션을 생성하여, 클라이언트의 제약 조건에 따라 다양한 배포가 가능하도록 하였다.