[논문 리뷰] From Federated Learning to Fog Learning: Towards Large-Scale Distributed Machine Learning in Heterogeneous Wireless Networks

Seyyedali Hosseinalipour, Christopher G. Brinton외 3명|arXiv (Cornell University)|2020. 06. 07.

Privacy-Preserving Technologies in Data참고 문헌 11인용 수 11

한 줄 요약

이 논문은 페더레이티드 러닝을 확장하여 엣지 디바이스에서 클라우드 서버에 이르는 퍼그 컨티누üm 전반에서 모델 학습을 지능적으로 분산시키는 다단계 분산 기계학습 프레임워크인 퍼그 러닝을 제안한다. 계층적 집계 및 데이터 오프로딩을 활용하여 컴퓨팅 및 통신 능력의 이질성을 해결함으로써 대규모 무선 네트워크에서 확장성 있고 효율적인 학습을 가능하게 한다.

ABSTRACT

Contemporary network architectures are pushing computing tasks from the cloud towards the network edge, leveraging the increased processing capabilities of edge devices to meet rising user demands. Of particular importance are machine learning (ML) tasks, which are becoming ubiquitous in networked applications ranging from content recommendation systems to intelligent vehicular communications. Federated learning has emerged recently as a technique for training ML models by leveraging processing capabilities across the nodes that collect the data. There are several challenges with employing federated learning at the edge, however, due to the significant heterogeneity in compute and communication capabilities that exist across devices. To address this, we advocate a new learning paradigm called {fog learning which will intelligently distribute ML model training across the fog, the continuum of nodes from edge devices to cloud servers. Fog learning is inherently a multi-stage learning framework that breaks down the aggregations of heterogeneous local models across several layers and can leverage data offloading within each layer. Its hybrid learning paradigm transforms star network topologies used for parameter transfers in federated learning to more distributed topologies. We also discuss several open research directions for fog learning.

연구 동기 및 목표

• 컴퓨팅 및 통신 능력이 크게 다른 엣지 디바이스가 존재하는 대규모 이질적 무선 네트워크에서 페더레이티드 러닝의 한계를 해결하기 위해.
• 페더레이티드 러닝의 스타 토폴로지로 인한 확장성 및 효율성 도전 과제를 해결하기 위해 다층적이고 분산된 학습 아키텍처를 도입하기 위해.
• 퍼그 컨티누üm 전반에서 지능적인 모델 학습 분포를 가능하게 하여 워크로드 균형을 맞추고 수렴성 및 자원 활용도를 향상시키기 위해.
• 각 퍼그 레이어 내에서 데이터 오프로딩을 통해 통신 오버헤드를 줄이고 학습 효율성을 향상시키기 위해.
• 페더레이티드 러닝의 중심 집계 방식을 분산형 계층 집계 과정으로 전환하는 새로운 학습 패러다임을 제안하기 위해.

제안 방법

• 엣지 디바이스에서 클라우드 서버에 이르기까지 퍼그 컴퓨팅 스택의 여러 레이어에 걸쳐 모델 학습을 분해하는 하이브리드 학습 패러다임으로서 퍼그 러닝을 도입한다.
• 로컬 모델이 퍼그 레이어 전반에서 계층적으로 집계되는 다단계 학습 프레임워크를 설계하여 중심 서버의 부담을 줄이고 확장성을 향상시킨다.
• 각 퍼그 레이어 내에서 데이터 오프로딩을 활용하여 중복 전송을 최소화하고 통신 효율성을 최적화한다.
• 페더레이티드 러닝의 스타 토폴로지 대신 더 분산형이고 다층적인 네트워크 아키텍처를 도입하여 기기의 이질성을 더 잘 수용한다.
• 컴put링, 대역폭, 에너지 제약을 포함한 기기 능력에 기반한 동적 학습 작업 할당을 가능하게 한다.
• 중간 퍼그 노드가 로컬 모델을 집계한 후 상위 레벨 노드로 전달할 수 있도록 허용하는 계층적 집계 메커니즘을 통합하여 종단 간 통신 지연을 줄인다.

실험 결과

연구 질문

• RQ1 다양한 기기 능력을 지닌 이질적 무선 네트워크에서 기계학습을 어떻게 효율적으로 확장할 수 있는가?
• RQ2 어떤 아키텍처 패러다임이 통신 오버헤드를 최소화하면서도 퍼그 컨티누움 전반에서 효과적인 모델 학습 분포를 가능하게 하는가?
• RQ3 페더레이티드 러닝의 스타 토폴로지 대신 분산형 퍼그 토폴로지로 전환할 경우 대규모 네트워크에서 확장성과 성능이 어떻게 향상되는가?
• RQ4 데이터 오프로딩은 퍼그 환경에서 분산 모델 학습의 효율성을 향상시키는 데 어떤 역할을 하는가?
• RQ5 실제 무선 환경 구현을 위해 퍼그 러닝을 실현하기 위한 핵심 설계 원칙과 열린 연구 과제는 무엇인가?

주요 결과

• 퍼그 러닝은 중심 서버 의존도를 줄이고 퍼그 컨티누움 전반에서 학습 워크로드를 분산시킴으로써 확장성 있고 효율적인 분산 기계학습을 가능하게 한다.
• 퍼그 러닝의 계층적 집계 메커니즘은 기존 페더레이티드 러닝의 중심 집계 방식에 비해 통신 부하와 지연을 감소시킨다.
• 각 퍼그 레이어 내에서의 데이터 오프로딩은 자원 활용도 향상과 네트워크 혼잡도 감소에 기여한다.
• 스타 토폴로지에서 분산형 다층 토폴로지로의 전환은 이질적 무선 환경에서의 내구성과 적응력을 향상시킨다.
• 퍼그 러닝은 스마트 차량 네트워크 및 콘텐츠 추천 시스템과 같은 분야에서의 향후 대규모 엣지 인식 기계학습 시스템을 위한 기초 프레임워크를 제공한다.
• 논문은 동적 작업 할당, 다층 집계에서의 보안, 퍼그 러닝의 계층 간 최적화와 같은 핵심 열린 연구 과제를 규명한다.