[논문 리뷰] Personalized Federated Learning of Driver Prediction Models for Autonomous Driving

Manabu Nakanoya, Junha Im외 4명|arXiv (Cornell University)|2021. 12. 01.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 이질적인 운전 습관에서 글로벌 동역학과 개인화된 비용 함수를 함께 학습함으로써 자율주행차의 궤적 예측 성능을 향상시키는 새로운 프레임워크인 적응형 개인화 페더레이티드 러닝(APFL)을 제안한다. CARLA 및 CARLO 시뮬레이터를 사용한 실제 사용자 연구에서 APFL은 표준 페더레이티드 러닝 대비 예측 손실을 2배 감소시켜 차선 변경 시나리오에서 안전성과 효율성을 크게 향상시키면서도 데이터 프라이버시를 유지한다.

ABSTRACT

Autonomous vehicles (AVs) must interact with a diverse set of human drivers in heterogeneous geographic areas. Ideally, fleets of AVs should share trajectory data to continually re-train and improve trajectory forecasting models from collective experience using cloud-based distributed learning. At the same time, these robots should ideally avoid uploading raw driver interaction data in order to protect proprietary policies (when sharing insights with other companies) or protect driver privacy from insurance companies. Federated learning (FL) is a popular mechanism to learn models in cloud servers from diverse users without divulging private local data. However, FL is often not robust -- it learns sub-optimal models when user data comes from highly heterogeneous distributions, which is a key hallmark of human-robot interactions. In this paper, we present a novel variant of personalized FL to specialize robust robot learning models to diverse user distributions. Our algorithm outperforms standard FL benchmarks by up to 2x in real user studies that we conducted where human-operated vehicles must gracefully merge lanes with simulated AVs in the standard CARLA and CARLO AV simulators.

연구 동기 및 목표

• 매우 이질적인 인간 운전 습관이 존재하는 환경에서 자율주행차를 위한 강건한 궤적 예측 모델을 훈련하는 데 도전하는 것.
• 실제 로봇 페어에서 흔히 발생하는 데이터 이질성 하에서 수렴하지 못하는 표준 페더레이티드 러닝의 한계를 극복하는 것.
• 글로벌 지식(공유 동역학)과 로컬 개인화(개별 비용 함수)를 모두 활용하여 모델 성능을 향상시키는 개인화된 페더레이티드 러닝 프레임워크를 개발하는 것.
• CARLA와 같은 사진 수준의 정밀 시뮬레이터와 CARLO와 같은 경량 시뮬레이터를 사용하여 실제 인간-로봇 상호작용 시나리오에서 개인화된 FL의 유효성을 평가하는 것.
• 개인화된 FL이 복잡한 운전 동작, 예를 들어 차선 융합과 같은 상황에서 안전성과 효율성을 크게 향상시킬 수 있으며, 운전자의 프라이버시를 유지할 수 있음을 입증하는 것.

제안 방법

• 글로벌 모델 파라미터(예: 공유 동역학)와 개인화된 로컬 파라미터(예: 위험 수용성 비용 함수)를 분리하는 적응형 개인화 페더레이티드 러닝(APFL)을 제안한다.
• 이중 단계 훈련 프로세스를 사용한다: 첫 번째 단계에서는 클라이언트 업데이트를 집계하여 글로벌 모델을 훈련하고, 두 번째 단계에서는 각 클라이언트가 글로벌 모델을 개인화된 헤드 레이어와 글로벌 및 로컬 파라미터의 적응형 가중치로 미세조정한다.
• 로컬 데이터 분포와 수렴 행동에 기반하여 글로벌 모델과 개인화 모델의 영향력을 조정하는 동적 파라미터 가중치 메커니즘을 도입한다.
• 궤적 예측을 위해 LSTM 기반 인코더-디코더 아키텍처를 사용하며, 프라이버시 제약 조건 하에서 페더레이티드 최적화로 종단 간(end-to-end)으로 훈련한다.
• CARLA에서 다양한 위험 수용성(γ ∈ {−1.0, −0.5, 0, 0.5, 1.0})을 가진 다양한 운전 스타일을 생성하기 위해 합성 인간-운전자 제어기를 적용하여 실제적인 데이터 수집을 가능하게 한다.
• 상대 위치와 속도 기반의 목표 속도 결정에서 유도된 제어 입력을 계산하기 위해 CARLA에서 PID 제어기를 적용하여 시뮬레이션 내 차량 행동을 현실적으로 구현한다.

실험 결과

연구 질문

• RQ1 매우 이질적인 인간 운전 습관이 존재하는 상황에서 개인화된 페더레이티드 러닝이 자율주행차의 궤적 예측 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 차선 변경과 같은 복잡한 동작을 포함한 실제 인간-로봇 상호작용 시나리오에서 표준 페더레이티드 러닝과 개인화된 변종 간의 성능는 어떻게 비교되는가?
• RQ3 글로벌 동역학과 로컬 비용 함수 개인화를 융합한 하이브리드 학습 접근법이 다양한 운전 인구 집단에 걸쳐 모델의 강건성과 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 APFL 알고리즘은 기준 FL 방법 대비 예측 오차를 줄이며, 차선 변경 작업에서 안전성과 효율성을 유지할 수 있는가?
• RQ5 고정밀도 시뮬레이터인 CARLA를 사용한 실제 사용자 연구에서, 원시 궤적 데이터를暴露하지 않고도 제안된 방법이 상당한 성능 향상을 달성할 수 있는가?

주요 결과

• APFL은 테스트 예측 손실 0.01160을 달성하여 표준 페더레이티드 러닝(0.01760) 대비 2배 향상되었고, 최고의 베이스라인(SPFL, 0.01600) 대비 28% 향상되었다.
• CARLA 차선 변경 시나리오에서 APFL은 평균 비용이 유의미하게 낮았으며(p-value = 0.021346 vs. SPFL), 안전한 차간 거리를 유지했다.
• 실제 운전자를 대상으로 한 사용자 연구에서 APFL 기반 자율주행차는 표준 FL로 훈련된 모델 대비 융합 동작에서 더 안전하고 효율적으로 작동했다.
• 결과는 표준 FL이 데이터 이질성 하에서 효과적으로 수렴하지 못하는 반면, 적응형 파라미터 가중치를 갖춘 개인화된 FL이 성능을 크게 향상시킨다는 것을 보여준다.
• APFL은 글로벌 경험(공유 동역학)과 로컬 개인화(개별 위험 수용성)를 효과적으로 활용하여 다양한 운전 스타일 간에 뛰어난 일반화 성능를 달성한다.
• 본 연구는 로봇 분야, 특히 자율주행차 궤적 예측을 위한 개인화된 페더레이티드 러닝의 첫 번째 실제 사용자 평가를 수행한다.