[논문 리뷰] Turn Signal Prediction: A Federated Learning Case Study

Sonal Doomra, Naman Kohli외 1명|arXiv (Cornell University)|2020. 12. 22.

Privacy-Preserving Technologies in Data참고 문헌 18인용 수 12

한 줄 요약

이 논문은 차량의 CAN 버스 데이터를 사용하여 전환 신호 사용을 예측하기 위한 피어드러티드 러닝 기반 접근법을 제안한다. 이는 비중앙집중적 차량 간에 장기적 단기 기억(LSTM) 모델을 훈련시켜 기밀 보호와 대역폭 절감을 달성한다. 피어드러티드 모델은 중앙집중식 훈련 모델(90.4%)과 유사한 정확도(전체 91.1%)를 달성하여, 기밀 보호를 위한 차량 내 학습이 지역 주행 예절을 모델링하는 데 실현 가능하다는 것을 입증한다.

ABSTRACT

Driving etiquette takes a different flavor for each locality as drivers not only comply with rules/laws but also abide by local unspoken convention. When to have the turn signal (indicator) on/off is one such etiquette which does not have a definitive right or wrong answer. Learning this behavior from the abundance of data generated from various sensor modalities integrated in the vehicle is a suitable candidate for deep learning. But what makes it a prime candidate for Federated Learning are privacy concerns and bandwidth limitations for any data aggregation. This paper presents a long short-term memory (LSTM) based Turn Signal Prediction (on or off) model using vehicle control area network (CAN) signal data. The model is trained using two approaches, one by centrally aggregating the data and the other in a federated manner. Centrally trained models and federated models are compared under similar hyperparameter settings. This research demonstrates the efficacy of federated learning, paving the way for in-vehicle learning of driving etiquette.

연구 동기 및 목표

• 차량 CAN 신호를 사용하여 다음 타임스텝에서 전환 신호 상태(작동/정지)를 예측하는 기계 학습 모델을 개발하기 위해.
• 차량 내 행동 모델링을 위한 중앙집중적 데이터 집합과 대비하여 기밀 보호형 대안으로 피어드러티드 러닝을 평가하기 위해.
• 동일한 초모수 조건에서 피어드러티드 모델과 중앙집중식 훈련 모델의 성능을 비교하기 위해.
• 피어드러티드 러닝이 원시 운전자 데이터를 폭로하지 않고도 다양한 지역적 주행 규범을 학습할 수 있는지 평가하기 위해.
• 데이터 기밀 보호 및 대역폭 문제를 완화하면서 실시간으로 차량 내에서 주행 예절을 학습할 수 있도록 하기 위해.

제안 방법

• 이전 CAN 신호를 사용하여 전환 신호 예측을 多변량 시계열 분류 문제로 설정한다.
• 스티어링 각도, 속도, GPS 등의 차량 신호에서 시간적 의존성을 모델링하기 위해 LSTM 기반 딥 네트워크를 사용한다.
• TensorFlow Federated(TFF)를 통해 비중앙집중적 차량에서 모델을 훈련시키며, 원시 데이터 대신 모델 가중치만 공유한다.
• 클라이언트 모델 업데이트를 서버에서 평균화하여 글로벌 모델을 형성하는 글로벌 모델 집계 전략을 적용한다.
• 주로 전환 신호가 끄기-켜기-끄기 순서로 이루어진 트립을 포함하는 포드의 빅데이터드라이브(Big Data Drive, BDD) 데이터셋의 일부를 사용하여 모델을 훈련하고 평가한다.
• 차량 속도, 브레이크 상태, 방향성 등의 특징을 정규화하고 클래스 불균형을 처리하기 위해 데이터 전처리를 구현한다.

실험 결과

연구 질문

• RQ1 피어드러티드 러닝이 운전자 데이터 기밀 보호를 유지하면서도 전환 신호 예측에 대해 중앙집중식 훈련과 유사한 성능을 달성할 수 있는가?
• RQ2 동일한 초모수와 데이터를 사용할 때 피어드러티드 모델의 성능이 중앙집중식 훈련 모델과 비교해 어떻게 되는가?
• RQ3 피어드러티드 러닝이 다양한 지역에서의 다양한 주행 행동과 예절 패턴을 효과적으로 포착할 수 있는가?
• RQ4 다수의 운전 행동에서 학습함으로써 운전자들이 전환 신호를 忽시하는 경우에도 피어드러티드 모델이 얼마나 일반화될 수 있는가?
• RQ5 통신 및 장치 스케줄링을 포함한 실세계 차량 내 시스템에 피어드러티드 러닝을 구현할 때 실질적인 과제는 무엇인가?

주요 결과

• 피어드러티드 모델은 전체 테스트 정확도 91.1%를 달성하여 중앙집중식 훈련 모델(90.4%)을 略로 뛰어넘었다.
• 피어드러티드 모델은 F1 스코어 0.826을 기록하여 중앙집중식 모델(0.807)보다 더 높은 클래스 예측 균형을 보였다.
• 운전자들이 신호를 사용하지 않아도, 피어드러티드 모델은 차선 변경 및 전환 시 전환 신호 작동을 정확히 예측하여 인간 실수에 대한 강건성을 입증했다.
• 시각적 분석을 통해 피어드러티드 모델이 기저 진술이 운전자 행동으로 인해 일관되지 않은 경우를 포함한 다양한 주행 패턴에 잘 일반화되었음을 확인했다.
• 누락되거나 잘못된 신호가 존재하는 상황에서도 의도한 주행 동작을 탐지할 수 있는 능력은, 피어드러티드 모델이 개인의 실수를 모방하기보다는 다수의 행동에서 학습하고 있음을 시사한다.
• 피어드러티드 러닝은 원시 데이터를 이전하지 않고 기밀 보호 및 확장 가능한 훈련을 가능하게 하여, 대역폭 및 보안 제약이 있는 차량 내 구현에 적합하다.