[논문 리뷰] Enabling Intelligent Vehicular Networks Through Distributed Learning in the Non-Terrestrial Networks 6G Vision

David Naseh, Swapnil Sadashiv Shinde외 1명|arXiv (Cornell University)|2023. 09. 07.

Privacy-Preserving Technologies in DataComputer Science인용 수 3

한 줄 요약

이 논문은 6G 기반 지능형 차량망(IVNs)에서 효율적이고 저지연이며 프라이버시를 보장하는 기계학습을 가능하게 하기 위해 연합학습(FL), 분할학습(SL), 이행학습(TL)을 통합한 새로운 분산학습 프레임워크인 연합분할이행학습(Federated Split Transfer Learning, FSTL)을 제안한다. 고고도 플랫폼(High-Altitude Platforms, HAPs)을 비지상망(NTN) 인프라로 활용하여 통신 오버헤드와 계산 부담을 줄이고, 데이터 이질성과 자원 제약 조건에서도 높은 모델 정확도를 유지하며, 사용자 수 증가에 따라 FL, SL, FSL보다 정확도와 지연 면에서 뛰어난 성능을 발휘한다.

ABSTRACT

The forthcoming 6G-enabled Intelligent Transportation System (ITS) is set to redefine conventional transportation networks with advanced intelligent services and applications. These technologies, including edge computing, Machine Learning (ML), and network softwarization, pose stringent requirements for latency, energy efficiency, and user data security. Distributed Learning (DL), such as Federated Learning (FL), is essential to meet these demands by distributing the learning process at the network edge. However, traditional FL approaches often require substantial resources for satisfactory learning performance. In contrast, Transfer Learning (TL) and Split Learning (SL) have shown effectiveness in enhancing learning efficiency in resource-constrained wireless scenarios like ITS. Non-terrestrial Networks (NTNs) have recently acquired a central place in the 6G vision, especially for boosting the coverage, capacity, and resilience of traditional terrestrial facilities. Air-based NTN layers, such as High Altitude Platforms (HAPs), can have added advantages in terms of reduced transmission distances and flexible deployments and thus can be exploited to enable intelligent solutions for latency-critical vehicular scenarios. With this motivation, in this work, we introduce the concept of Federated Split Transfer Learning (FSTL) in joint air-ground networks for resource-constrained vehicular scenarios. Simulations carried out in vehicular scenarios validate the efficacy of FSTL on HAPs in NTN, demonstrating significant improvements in addressing the demands of ITS applications.

연구 동기 및 목표

• 자원 제약 조건이 있는 분산 기계학습을 적용한 6G 기반 지능형 교통체계(ITS)에서의 높은 지연, 통신 오버헤드, 자원 제약 문제를 해결하기 위해.
• 자원 제약 조건이 있는 차량 노드에서 전통적인 연합학습(FL)의 고도의 계산 부담과 프라이버시 리스크 등의 한계를 극복하기 위해.
• 이행학습(TL)과 분할학습(SL)을 FL에 통합하여 차량 환경에서의 모델 수렴 속도 향상과 통신 비용 감소를 위해.
• 비지상망(NTN)에서, 특히 고고도 플랫폼(HAPs)을 활용한 FSTL 프레임워크의 성능을 평가하여 커버리지와 내성 향상을 위해.
• FSTL이 차량 사용자(VUs) 수 증가와 데이터 분포의 이질성 조건에서도 높은 정확도와 낮은 지연을 유지할 수 있음을 입증하기 위해.

제안 방법

• FSTL은 FL, SL, TL을 융합한 하이브리드 프레임워크로, 차량 사용자(VUs)와 중앙 서버 간에 HAPs를 통해 모델 학습을 분산 처리한다.
• 원천 작업에서 사전 학습된 모델을 지식 기반으로 활용하여 클라이언트 모델을 초기화함으로써, 자료가 부족한 환경에서 학습 시간을 단축하고 수렴 성능를 향상시킨다.
• 신경망을 클라이언트 측과 서버 측 구성 요소로 분할하여 분할학습(SL)을 적용하며, 컷 레이어의 활성화 값만 전송함으로써 대역폭 사용을 최소화한다.
• 기울기 집합을 서버에서 클라이언트 모델로부터 수신하여 연합학습(FL)을 통합함으로써 원시 데이터 공유 없이도 글로벌 모델 업데이트를 가능하게 한다.
• 계층적 학습 프로세스를 적용: 클라이언트는 사전 학습된 모델을 사용해 로컬 데이터로 학습하고, 최종 레이어 기울기만 HAP 기반 서버에 전송하며, 서버는 이를 집계하여 글로벌 모델을 업데이트한다.
• 비지상망(NTN)에서의 중계 노드로 고고도 플랫폼(HAPs)을 활용하여 전송 지연을 감소시키고 커버리지와 확장 가능한 저지연 통신을 지원한다.

실험 결과

연구 질문

• RQ1 자원 제약 조건이 있는 차량망에서 FSTL이 FL, SL, FSL에 비해 학습 효율성 향상과 지연 감소에 어떻게 기여하는가?
• RQ2 FL과 SL에 이행학습(TL)을 통합할 경우, 데이터 이질성과 국소 데이터 부족 조건에서 모델 정확도 향상 정도는 어느 정도인가?
• RQ3 비지상망(NTN) 인프라로 고고도 플랫폼(HAPs)을 사용할 경우, 분산학습의 확장성과 성능에 어떤 영향을 미치는가?
• RQ4 차량 사용자(VUs) 수 증가가 FSTL의 정확도와 지연에 미치는 영향은 기준 방법에 비해 어떠한가?
• RQ5 국소 데이터 분포가 차량 사용자 간에 크게 다를 경우, FSTL이 모델 드리프트와 도메인 이동 상황에서도 높은 성능을 유지할 수 있는가?

주요 결과

• FSTL은 다양한 수의 차량 사용자(VUs) 조건에서도 일관된 테스트 정확도를 유지하며, 사용자 당 데이터가 감소하더라도 정확도 저하가 최소화된다. 이는 동일 조건에서 FL이 심한 정확도 하락을 보이는 것과 대비된다.
• VUs 수가 증가함에 따라 FSTL는 SL, FL, FSL보다 전반적인 지연을 크게 낮춘다. 이는 통신 오버헤드 감소와 학습 프로세스에서의 병렬 집계 기능 덕분이다.
• FSTL은 클라이언트에서 서버로 최종(컷) 레이어 기울기만 전송함으로써 통신 비용을 절감하여, FL의 전체 모델 파ameter 교환에 비해 데이터 양을 줄이고 전송 속도를 향상시킨다.
• FSTL에서 사전 학습된 모델을 활용함으로써 데이터가 부족한 환경에서 더 빠른 수렴과 향상된 성능를 달성하며, 자원 제약 조건이 있는 VUs에서 대규모 로컬 데이터셋이 필요로 하는 것을 줄일 수 있다.
• FSTL는 데이터 이질성에 대해 뛰어난 내성성을 보이며, 로컬 데이터셋의 크기와 품질이 다양하더라도 사전 학습된 모델의 지식 전달 덕분에 높은 정확도를 유지한다.
• 시뮬레이션 결과 FSTL는 FL, SL, FSL보다 정확도와 지연 면에서 모두 뛰어나며, 참가하는 VUs 수가 증가할수록 성능 향상이 두드러져 대규모 ITS 구현에서의 확장성과 효율성을 입증한다.