[논문 리뷰] Network-Aware Optimization of Distributed Learning for Fog Computing

Su Wang, Yichen Ruan외 4명|arXiv (Cornell University)|2020. 04. 17.

Privacy-Preserving Technologies in Data참고 문헌 42인용 수 6

한 줄 요약

이 논문은 계산, 통신, 기각 비용을 모델링하여 동적 네트워크 조건에서 모델 정확도를 유지하면서 비용을 최소화하는 퍼그 컴퓨팅 환경을 위한 네트워크 인지 분산 학습 프레임워크를 제안한다. 이 방법은 이질적 디바이스 간의 데이터 처리 오프로딩을 동적으로 할당하여 최대 40%의 네트워크 비용 절감을 달성하며, 피어드 페더레이티드 러닝과 유사한 정확도를 유지한다.

ABSTRACT

Fog computing promises to enable machine learning tasks to scale to large amounts of data by distributing processing across connected devices. Two key challenges to achieving this goal are heterogeneity in devices compute resources and topology constraints on which devices can communicate with each other. We address these challenges by developing the first network-aware distributed learning optimization methodology where devices optimally share local data processing and send their learnt parameters to a server for aggregation at certain time intervals. Unlike traditional federated learning frameworks, our method enables devices to offload their data processing tasks to each other, with these decisions determined through a convex data transfer optimization problem that trades off costs associated with devices processing, offloading, and discarding data points. We analytically characterize the optimal data transfer solution for different fog network topologies, showing for example that the value of offloading is approximately linear in the range of computing costs in the network. Our subsequent experiments on testbed datasets we collect confirm that our algorithms are able to improve network resource utilization substantially without sacrificing the accuracy of the learned model. In these experiments, we also study the effect of network dynamics, quantifying the impact of nodes entering or exiting the network on model learning and resource costs.

연구 동기 및 목표

• 확장 가능한 머신 러닝을 위한 퍼그 컴퓨팅 환경에서의 디바이스 이질성과 통신 제약을 해결한다.
• 분산 학습에서 계산, 통신, 데이터 기각 비용을 균형 잡는 데이터 처리 오프로딩 결정을 최적화한다.
• 자원 사용을 최소화하면서 정확도를 유지하는 동시에 디바이스들이 협동적으로 모델을 훈련시킬 수 있는 방법론을 개발한다.
• 노드 충돌 및 이동성과 같은 네트워크 동적 특성이 모델 훈련 성능과 비용 효율성에 미치는 영향을 분석한다.
• 실제 데이터 트레이스를 기반으로 네트워크 인지 최적화가 전통적인 피어드 페더레이티드 러닝보다 비용 효율성이 뛰어나면서도 모델 정확도를 손상시키지 않는다는 것을 입증한다.

제안 방법

• 퍼그 디바이스 간의 데이터 처리, 오프로딩, 기각 결정을 종합적으로 최적화하는 비용 최소화 문제를 수립한다.
• 계산, 통신, 기각 페널티를 포함한 가중치 비용 함수를 사용하여 현지 처리, 디바이스 간 오프로딩, 데이터 기각 간의 트레이드오프를 모델링한다.
• 오프로딩 하에 모델 오차에 대한 분석적 경계를 유도하여 특정 비용 가정 하에 성능 저하가 제어 가능하고 예측 가능하다는 것을 보여준다.
• 네트워크 토폴로지와 자원 가용성을 기반으로 디바이스들이 국지적으로 오프로딩 결정을 내릴 수 있도록 분산 최적화 알고리즘을 구현한다.
• 무선 테스트베드에서 확보한 실제 데이터 트레이스를 사용하여 동적 노드 연결성과 다양한 데이터 분포 조건 하에서 프레임워크를 평가한다.
• 노드 진입 및 퇴출 확률을 위한 확률 모델을 도입하여 네트워크 동적 특성을 시뮬레이션하고 충돌에 대한 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 이질적 퍼그 디바이스 간에 데이터 처리를 최적화하여 총 시스템 비용을 최소화하면서도 모델 정확도를 유지할 수 있는 방법은 무엇인가?
• RQ2 노드 충돌 및 이동성과 같은 네트워크 동적 특성이 퍼그 환경에서 분산 학습의 성능과 비용에 어떤 영향을 미치는가?
• RQ3 데이터가 디바이스에 균일분포(i.i.d.) 또는 비균일분포(non-i.i.d.)로 분포할 경우 오프로딩 기반 학습에서 모델 정확도에 어떤 영향을 미치는가?
• RQ4 동적 퍼그 네트워크에서 전통적인 피어드 페더레이티드 러닝에 비해 네트워크 인지 오프로딩이 자원 사용을 얼마나 줄이는가?
• RQ5 비용 제약 조건 하에서 분산 학습에 오프로딩을 사용할 경우 모델 오차에 대해 유도할 수 있는 분석적 경계는 무엇인가?

주요 결과

• 네트워크 인지 오프로딩 프레임워크는 기준 방법 대비 총 훈련 비용을 최대 40% 감소시킨다. 특히 높은 노드 충돌 조건에서 두드러진다.
• 노드 퇴출 확률이 5%로 증가함에 따라 시간 단위당 평균 활성 노드 수가 6개 이하로 감소하며, 초기화 시 대비 약 40% 감소한다.
• 노드 퇴출 확률이 5%로 증가함에 따라 평균 데이터 이동률이 0.55에서 0.2로 감소하여 충돌 조건 하에서 디바이스 간 통신이 감소함을 나타낸다.
• 노드 퇴출 확률이 5%에 도달할 경우 테스트 정확도가 약 4% 감소하며, 데이터 분포의 비대칭성으로 인해 비균일분포(non-i.i.d.) 시나리오에서 더 심한 부정적 영향을 받는다.
• 노드 진입 확률을 5%까지 증가시키면 오프로딩 기회가 향상되어 특히 i.i.d. 데이터 설정에서 정확도와 비용 효율성이 향상된다.
• 비균일분포(non-i.i.d.) 케이스는 i.i.d. 케이스 대비 지속적인 정확도 격차를 보이며, 노드 퇴출로 인해 경험적 데이터 분포가 왜곡되고 모델 일반화 능력이 떨어지기 때문이다.