[논문 리뷰] Distributed Dynamic Map Fusion via Federated Learning for Intelligent Networked Vehicles

Zijian Zhang, Shuai Wang외 3명|arXiv (Cornell University)|2021. 03. 05.

Indoor and Outdoor Localization Technologies참고 문헌 30인용 수 69

한 줄 요약

이 논문은 실시간 레이더 데이터 레이블이 없는 상황에서 분산형, 온라인 학습이 가능한 지능형 네트워크화된 차량을 위한 연합학습(FL)-기반 동적 지ap 융합 프레임워크를 제안한다. DBSCAN 군집화, 점수 기반 가중 평균, IoU 기반 박스 정리의 3단계 융합 방식, 분산 특징 모델 미세조정을 위한 연합학습, 그리고 레이블 생성을 위한 지식 정착 기법을 융합함으로써, 낮은 통신 오버헤드를 유지하면서도 높은 지도 품질을 달성하였으며, 지도 품질 측면에서 기존 방법들을 초월하는 성능을 보였다. 이는 지도 품질 측정 기준에서 실제 레이블이 없더라도 시뮬레이션 환경에서 입증되었다.

ABSTRACT

The technology of dynamic map fusion among networked vehicles has been developed to enlarge sensing ranges and improve sensing accuracies for individual vehicles. This paper proposes a federated learning (FL) based dynamic map fusion framework to achieve high map quality despite unknown numbers of objects in fields of view (FoVs), various sensing and model uncertainties, and missing data labels for online learning. The novelty of this work is threefold: (1) developing a three-stage fusion scheme to predict the number of objects effectively and to fuse multiple local maps with fidelity scores; (2) developing an FL algorithm which fine-tunes feature models (i.e., representation learning networks for feature extraction) distributively by aggregating model parameters; (3) developing a knowledge distillation method to generate FL training labels when data labels are unavailable. The proposed framework is implemented in the Car Learning to Act (CARLA) simulation platform. Extensive experimental results are provided to verify the superior performance and robustness of the developed map fusion and FL schemes.

연구 동기 및 목표

• 지능형 네트워크화된 차량을 위한 동적 지도 융합에서의 센서 및 모델 불확실성 문제를 해결하기 위해.
• 실시간 데이터 레이블이 부재한 상황에서도 온라인으로 분산 학습이 가능하도록 하기 위해.
• 효율적인 융합 및 모델 집계를 통해 높은 지도 품질을 유지하면서도 통신 오버헤드를 줄이기 위해.
• LiDAR 데이터와 엣지 기반 협업을 활용한 실시간 동적 지도 융합을 위한 확장 가능하고 강건한 프레임워크를 개발하기 위해.

제안 방법

• 3단계 융합 파이프라인: (1) 객체 검출의 공간 군집화를 위한 DBSCAN, (2) 겹치는 객체에 대한 점수 기반 가중 평균, (3) IoU 기반 박스 정리로 갈등을 해결.
• 차량 간에서 모델 파라미터를 집계하여 공유된 특징 추출 네트워크를 미세조정하는 포인트 클라우드 기반 연합학습 알고리즘으로, 원시 데이터를 공유하지 않음.
• 엣지 서버의 융합 지도를 교사 모델로 사용하여 로컬 학습 데이터의 가짜 레이블을 생성하는 지식 정착 기법.
• FL과 지식 정착을 융합한 앙상블 정착 연합학습(EDFL) 프레임워크를 도입하여, 레이블 부족 상황에서도 모델의 강건성을 향상.
• LiDAR 포인트 클라우드와 KITTI 기준에 맞는 커스텀 데이터 변환을 적용한 CARLA 시뮬레이션 플랫폼에서의 구현 및 평가.

실험 결과

연구 질문

• RQ1 3단계 융합 방식이 동적 환경에서 객체 수 추정과 지도 정밀도 향상에 효과적으로 기여하는가?
• RQ2 객체 수가 알려지지 않은 분산 차량 네트워크 환경에서 LiDAR 기반 특징 모델에 대해 연합학습이 효과적으로 적용될 수 있는가?
• RQ3 실제 레이블이 없는 상황에서 지식 정착 기법이 신뢰할 수 있는 학습 레이블을 얼마나 잘 생성할 수 있는가?
• RQ4 제안된 EDFL 프레임워크는 레이블이 전혀 없는 조건에서 완전히 지도 학습 기반의 FL 기준 성능에 근접하는가?

주요 결과

• 제안된 3단계 융합 방법은 비교 대상의 모든 방법들 중 IoU=0.7일 때 평균 정밀도가 가장 높았으며, 최대 점수 및 평균 융합 방식을 능가함.
• EDFL 기반 융합 방법은 특히 장거리(LR) 및 고막힘(LO) 환경에서 완벽한 FL 기준 성능에 근접한 성능을 달성함.
• 실제 레이블이 없더라도 EDFL 프레임워크는 FL 또는 융합 기반 방법을 사용하지 않은 경우보다 감지 정확도가 뚜렷이 향상됨.
• 원시 데이터 전송을 피함으로써 통신 오버헤드를 줄였으며, 모델 파라미터 집계와 정착된 레이블 기반의 융합에 의존함.
• 엣지 서버의 융합 지도가 효과적인 교사 모델로 기능하여, 로컬 학습에 대한 정확한 가짜 레이블 생성을 가능하게 함.