[논문 리뷰] Semi-asynchronous Hierarchical Federated Learning for Cooperative Intelligent Transportation Systems

Qimei Chen, Zehua You외 1명|arXiv (Cornell University)|2021. 10. 18.

Brain Tumor Detection and Classification인용 수 8

한 줄 요약

이 논문은 협업 지능형 교통 시스템(C-ITS)을 위한 반비동기 계층적 플러드레이팅 학습(SHFL) 프레임워크를 제안한다. 이는 동기적 엣지 집계와 반비동기 클라우드 집계를 조합하여 효율적이고 프라이버시를 보장하는 모델 훈련을 가능하게 한다. 분산 ADMM-BCU 알고리즘을 통해 엣지 노드 할당과 자원 할당을 공동 최적화함으로써, 비독립 동일분포(iid) 데이터 및 이질적 장치 제약 조건 하에서도 풀 선택 기반 방법과 비견할 만한 모델 정확도를 달성하면서 훈련 지연을 30% 감소시킨다.

ABSTRACT

Cooperative Intelligent Transport System (C-ITS) is a promising network to provide safety, efficiency, sustainability, and comfortable services for automated vehicles and road infrastructures by taking advantages from participants. However, the components of C-ITS usually generate large amounts of data, which makes it difficult to explore data science. Currently, federated learning has been proposed as an appealing approach to allow users to cooperatively reap the benefits from trained participants. Therefore, in this paper, we propose a novel Semi-asynchronous Hierarchical Federated Learning (SHFL) framework for C-ITS that enables elastic edge to cloud model aggregation from data sensing. We further formulate a joint edge node association and resource allocation problem under the proposed SHFL framework to prevent personalities of heterogeneous road vehicles and achieve communication-efficiency. To deal with our proposed Mixed integer nonlinear programming (MINLP) problem, we introduce a distributed Alternating Direction Method of Multipliers (ADMM)-Block Coordinate Update (BCU) algorithm. With this algorithm, a tradeoff between training accuracy and transmission latency has been derived. Numerical results demonstrate the advantages of the proposed algorithm in terms of training overhead and model performance.

연구 동기 및 목표

• C-ITS 데이터 분석에서 높은 전송 지연, 데이터 이질성, 제한된 무선 자원 등의 과제를 해결하기 위해.
• 시간 민감하고 이질적인 차량 네트워크에서 순수하게 동기적 또는 비동기적 플러드레이팅 학습의 비효율성을 극복하기 위해.
• 통신 효율적이고 프라이버시를 보장하는 훈련 프레임워크를 설계하여 C-ITS에서 실시간 안전 및 효율 서비스를 지원하기 위해.
• 모델 정확도와 전송 지연을 균형 잡기 위해 엣지 노드 할당과 자원 할당을 공동 최적화하기 위해.
• 복합적인 정수형 비선형계획문제(MINLP)를 해결할 수 있는 분산 알고리즘을 개발하기 위해.

제안 방법

• 로컬 장치, 엣지 서버, 클라우드 서버로 구성된 3단계 SHFL 아키텍처를 제안하며, 엣지 노드는 동기 집계를 사용하고 클라우드는 반비동기 집계를 사용한다.
• 이질적 엣지 노드의 고유한 특성(개성)을 유지하는 탄성 엣지 업데이트 모델을 도입하여 비독립 동일분포(iid) 데이터로 인한 성능 저하를 완화한다.
• 훈련 정확도와 전송 지연을 최적화하기 위해 엣지 할당과 자원 할당을 혼합정수비선형계획문제(MINLP)로 모델링한다.
• 스케일러블하고 탈중앙화된 방식으로 MINLP 문제를 해결하기 위해 분산 ADMM-블록좌표업데이트(ADMM-BCU) 알고리즘을 개발한다.
• 데이터 중요도와 전송 지연을 균형 잡기 위해 파ameter ρ를 사용하는 가중치 목적함수를 활용하여 조정 가능한 트레이드오프를 가능하게 한다.
• 기본 모델로 VGG-16을 사용하고, 다양한 선택 기반 방법(랜덤, 풀, 제안된 방법)에서 수렴성과 성능을 평가한다.

실험 결과

연구 질문

• RQ1 반비동기 집계는 이질적이고 비독립 동일분포(iid) 데이터를 가진 C-ITS 환경에서 훈련 효율을 어떻게 향상시킬 수 있는가?
• RQ2 C-ITS를 위한 계층적 플러드레이팅 학습 환경에서 모델 정확도와 전송 지연 간 최적의 트레이드오프는 무엇인가?
• RQ3 엣지 노드 할당과 자원 할당을 공동으로 최적화하면 시스템 전체 훈련 성능에 어떤 영향을 미치는가?
• RQ4 분산 ADMM-BCU 알고리즘이 실시간 차량 환경에서 복잡한 MINLP 문제를 효과적으로 해결할 수 있는가?
• RQ5 탄성 엣지 업데이트 모델은 엣지 노드의 개성을 얼마나 잘 유지하며 수렴성을 어떻게 향상시키는가?

주요 결과

• 제안된 SHFL 프레임워크는 약 70회의 통신 라운드 내에 수렴하며, 풀 선택 기반 방법과 동일한 성능을 달성하면서도 더 적은 엣지 노드를 사용한다.
• 제안된 알고리즘은 기준 기반 방법 대비 훈련 지연을 30% 감소시키며, 평가된 모든 메커니즘 중에서 가장 낮은 지연을 기록한다.
• 탄성 엣지 업데이트 모델은 비독립 동일분포(iid) 데이터 조건 하에서 일반 업데이트 모델 대비 훈련 정확도를 크게 향상시키고 손실 변동을 감소시킨다.
• ADMM-BCU 알고리즘은 빠른 수렴성을 보이며 낮은 계산 복잡도를 가지므로, 동적인 C-ITS 환경에서 실시간 배포가 가능하다.
• 데이터 중요도와 전송 지연 간 트레이드오프는 경험적으로 검증되었으며, ρ = 0.8일 때 정확도와 지연 측면에서 최적의 성능을 기록한다.
• 선택된 엣지 노드 수는 가중치 요소 ρ가 증가함에 따라 증가하며, 제안된 방법은 랜덤 선택 대비 데이터 중요도를 더 잘 유지하면서도 지연을 최소화한다.