[논문 리뷰] FedorAS: Federated Architecture Search under system heterogeneity

Łukasz Dudziak, Stefanos Laskaridis외 1명|arXiv (Cornell University)|2022. 06. 22.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

FedorAS는 이질적인 디바이스와 비독립 동일 분포(Non-IID) 데이터를 가진 크로스디바이스 환경에서 자원 인지형 페더레이티드 신경망 아키텍처 탐색(NAS) 시스템을 제안한다. 서버에 위치한 슈퍼넷과 계층적 클라이언트 클러스터링, 그리고 새로운 OPA 집계 방법을 사용하여, 자원 제약을 고려한 효율적이고 경량의 온디바이스 NAS를 실현하면서도 시스템 이질성 하에서도 높은 성능을 유지를 한다. 이는 비전, 음성, 텍스트 작업 전반에서 성능을 확보한다.

ABSTRACT

Federated learning (FL) has recently gained considerable attention due to its ability to learn on decentralised data while preserving client privacy. However, it also poses additional challenges related to the heterogeneity of the participating devices, both in terms of their computational capabilities and contributed data. Meanwhile, Neural Architecture Search (NAS) has been successfully used with centralised datasets, producing state-of-the-art results in constrained or unconstrained settings. However, such centralised datasets may not be always available for training. Most recent work at the intersection of NAS and FL attempts to alleviate this issue in a cross-silo federated setting, which assumes homogeneous compute environments with datacenter-grade hardware. In this paper we explore the question of whether we can design architectures of different footprints in a cross-device federated setting, where the device landscape, availability and scale are very different. To this end, we design our system, FedorAS, to discover and train promising architectures in a resource-aware manner when dealing with devices of varying capabilities holding non-IID distributed data. We present empirical evidence of its effectiveness across different settings, spanning across three different modalities (vision, speech, text), and showcase its better performance compared to state-of-the-art federated solutions, while maintaining resource efficiency.

연구 동기 및 목표

• 디바이스의 계산 능력과 데이터 분포가 상이한 크로스디바이스 페더레이티드 러닝 환경에서 신경망 아키텍처 탐색(NAS)을 수행하는 도전 과제를 해결한다.
• 중앙집중식으로 정제된 데이터셋에 의존하고 개인정보 보호가 보장되지 않는 기존 NAS 방법의 한계를 극복한다.
• 디바이스의 계산 및 대역폭 제약을 고려하면서도 효율적이고 경량의 온디바이스 NAS를 가능하게 하는 시스템을 설계한다.
• 데이터 및 시스템 이질성에도 불구하고 다양한 모odal(비전, 음성, 텍스트)에서 높은 모델 성능을 유지한다.
• 공유 슈퍼넷과 티어 인식 클라이언트 참여를 통해 NAS 동안 통신 및 계산 비용을 최소화한다.

제안 방법

• 디바이스의 하드웨어 능력에 따라 계산 능력 티어로 클라이언트를 클러스터링하여 자원 인지형 NAS를 가능하게 한다.
• 모든 계산 복잡도 스펙트럼을 커버하는 단일 종합 슈퍼넷을 구성하여, 탐색 공간과 웨이트 공유 기반으로 활용한다.
• 디바이스의 능력에 따라 슈퍼넷을 확률적이고 부분적으로 공유하여 통신 오버헤드를 최소화한다.
• 1회성 경로 샘플링을 변형하여 FLOPs 인지 샘플링을 통한 경량 온디바이스 아키텍처 평가 및 학습을 가능하게 한다.
• 경로의 운영 주파수를 기반으로 클라이언트 업데이트를 가중치 부여하는 주파수 인지 집계 방법인 OPA(Operator Aggregation)를 도입한다.
• 전체 모델 학습에서 NAS를 분리하여, 페르포먼스가 높은 사전학습된 하위넷을 미리 추출하고, 이후 피니튜닝을 수행한다.

실험 결과

연구 질문

• RQ1 의도적으로 큰 시스템 이질성과 데이터 이질성을 가진 크로스디바이스 페더레이티드 환경에서 신경망 아키텍처 탐색이 효과적으로 수행될 수 있는가?
• RQ2 디바이스 자원 제약 하에서 성능을 유지하면서도 효율적이고 확장 가능한 NAS는 어떻게 설계할 수 있는가?
• RQ3 다양한 계산 능력과 데이터 분포를 가진 클라이언트로부터 효과적인 지식 융합을 가능하게 하는 집계 전략은 무엇인가?
• RQ4 제안된 시스템은 정확도 및 통신 효율성 측면에서 최신 기술 대비 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 완전한 피니튜닝 없이도 슈퍼넷에서 조기에 고성능의 태스크 특화 모델을 추출할 수 있는가?

주요 결과

• 낮은 Non-IID 설정(α=1, 100명의 클라이언트)에서 3라운드 내로 페더럴 평가와 중앙집중적 평가 간 켄들-타우 상관계수 0.8을 달성한다.
• 고도로 Non-IID 조건(α=0.1)과 500명의 클라이언트에서, 동일한 순위 정밀도를 확보하기 위해 필요한 페더럴 평가 라운드 수가 6으로 증가하여 데이터 이질성에 따른 비용 증가를 시사한다.
• NAS 동안 슈퍼넷 크기가 점차 감소함을 확인하여, 장기적인 탐색이 비례적으로 통신 비용을 증가시키지 않는다는 점을 시사한다.
• 비전, 음성, 텍스트 작업 전반에서 높은 성능을 유지하여 다양한 모달 간 일반화 능력을 입증한다.
• OPA 집계 방법은 경로 빈도를 기반으로 업데이트를 가중치 부여함으로써 수렴성과 성능을 향상시키며, 이질적인 환경에서 모델 품질을 향상시킨다.
• 학습된 슈퍼넷에서 추출한 사전학습된 하위넷은 최소한의 추가 온디바이스 피니튜닝으로도 경쟁 가능한 성능을 달성하여 피니튜닝 라운드 수를 감소시킨다.