[논문 리뷰] Predicting Take-over Time for Autonomous Driving with Real-World Data: Robust Data Augmentation, Models, and Evaluation

Akshay Rangesh, Nachiket Deo외 3명|arXiv (Cornell University)|2021. 07. 27.

Sleep and Work-Related Fatigue인용 수 5

한 줄 요약

이 논문은 운전사 측면 카메라에서 확보한 실세계 데이터를 활용하여 자율주행에서 타이머 오프 타임(TOT)을 예측하기 위한 강건한 딥러닝 프레임워크를 제안한다. 제한된 실세계 타이머 오프 이벤트에 대해 새로운 데이터 증강 기법과 전이학습을 적용함으로써, 얼굴, 손, 발, 시선 추적에서 유도된 중간 및 고차원 특징을 활용하여 1초 이내의 정밀도로 TOT를 예측하는 모델을 개발하였으며, 순수하게 원시 데이터로만 훈련된 모델에 비해 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

Understanding occupant-vehicle interactions by modeling control transitions is important to ensure safe approaches to passenger vehicle automation. Models which contain contextual, semantically meaningful representations of driver states can be used to determine the appropriate timing and conditions for transfer of control between driver and vehicle. However, such models rely on real-world control take-over data from drivers engaged in distracting activities, which is costly to collect. Here, we introduce a scheme for data augmentation for such a dataset. Using the augmented dataset, we develop and train take-over time (TOT) models that operate sequentially on mid and high-level features produced by computer vision algorithms operating on different driver-facing camera views, showing models trained on the augmented dataset to outperform the initial dataset. The demonstrated model features encode different aspects of the driver state, pertaining to the face, hands, foot and upper body of the driver. We perform ablative experiments on feature combinations as well as model architectures, showing that a TOT model supported by augmented data can be used to produce continuous estimates of take-over times without delay, suitable for complex real-world scenarios.

연구 동기 및 목표

• 자율주행 연구에서 제한된 실세계 타이머 오프 이벤트 데이터 문제를 해결하기 위해.
• 다양한 카메라 시야에서의 운전사 상태 특징을 기반으로 타이머 오프 타임(TOT)을 예측하는 강건한 기계학습 모델을 개발하기 위해.
• 희소한 타이머 오프 데이터를 위한 새로운 데이터 증강 및 전이학습 기반의 기법을 통해 모델의 일반화 능력과 성능을 향상시키기 위해.
• 얼굴, 손, 발, 시선 등의 다양한 운전사 상태 특징이 TOT 예측 정확도에 미치는 상대적 기여도를 평가하기 위해.
• 고수준 자율주행 환경에서 안전하고 적시에 제어를 이관하기 위한 실시간 연속적인 TOT 추정을 가능하게 하기 위해.

제안 방법

• 작은 실세계 타이머 오프 데이터셋을 합성적으로 확장하기 위한 데이터 증강 전략을 제안하여 모델 일반화 능력을 향상시킨다.
• 얼굴(시선), 손, 발의 세 가지 카메라 시야에서 유도된 순차적 특징을 처리하기 위해 독립형 깊이 순환 신경망(ID LSTMs)을 사용한다.
• 운전사 측면 카메라 스트림에 적용된 컴퓨터 비전 모델에서 유도된 중간 및 고차원 특징을 추출하며, 이에는 3차원 손 거리 및 손-물체 상호작용이 포함된다.
• 불확실성에 대응하기 위해 K=3 모드를 가진 다중모달 출력 헤드를 활용하여 예측의 강건성을 향상시킨다.
• 증강된 데이터를 기반으로 전이학습을 수행하며, 특징 조합 및 모델 아키텍처에 대한 분석 실험을 실시한다.
• 테스트 세트에서 평균 절대 오차(MAE)를 사용하여 성능을 평가하며, 눈이 도로를 향하고 있는지, 발이 브레이크 페달 위에 있는지, 손이 핸들을 잡고 있는지, 전체 TOT에 대한 별도의 지표도 제공한다.

실험 결과

연구 질문

• RQ1 제한된 실세계 타이머 오프 데이터로 훈련된 TOT 예측 모델의 성능을 향상시키기 위해 데이터 증강 전략이 얼마나 기여하는가?
• RQ2 시선, 손, 발 또는 상체와 같은 운전사 상태 특징 중 어느 것이 TOT 예측 정확도 향상에 가장 기여하는가?
• RQ3 다양한 카메라 시야에서 특징을 융합하는 다중모달 딥러닝 모델이 단일모달 또는 단일특징 기반 기준 모델보다 성능이 뛰어나게 되는가?
• RQ4 전이학습 및 모델 아키텍처 선택이 TOT 예측 정확도와 일반화 능력에 얼마나 큰 영향을 미치는가?
• RQ5 훈련 데이터 양이 증가함에 따라 성능이 어떻게 변화하는가? 성능 향상의 감소 경향이 나타나는가?

주요 결과

• 증강된 데이터로 훈련된 ID LSTM 모델은 전체 TOT의 MAE가 0.9144초를 기록하여 기준 일정 예측 모델(6.2073초)에 비해 뚜렷이 뛰어난 성능을 보였다.
• 손과 관련된 특징, 특히 스티어링 휠까지의 3차원 거리와 손-물체 상호작용이 성능 향상에 가장 크게 기여하였으며, 이로 인해 MAE가 기준 대비 50% 이상 감소하였다.
• 발 특징의 추가로 예측 오차가 상당히 감소하여, 정확한 TOT 추정을 위해 전용 발 카메라의 중요성이 입증되었다.
• 시선 특징는 상대적으로 낮은 분산을 보이며 정보량이 적었으며, 타이머 오프 시 눈이 도로를 향하는 행동은 매우 예측 가능하기 때문에 상대적으로 덜 유용한 특징로 나타났다.
• 스테레오 손 특징을 추가로 적용했을 때 성능 향상이 미미하여, 단일 카메라 손 추적과 의미적 특징만으로도 높은 성능을 달성할 수 있음을 시사한다.
• 추가적인 훈련 데이터로 인한 성능 향상이 미미하여, 현재 데이터 규모에서는 모델이 포화 상태에 도달했음을 시사하며, 성능 향상의 감소 경향이 나타나고 있음을 확인하였다.