[논문 리뷰] Safe Control Transitions: Machine Vision Based Observable Readiness Index and Data-Driven Takeover Time Prediction

Ross Greer, Nachiket Deo외 3명|arXiv (Cornell University)|2023. 01. 14.

Human-Automation Interaction and SafetyPsychology인용 수 3

한 줄 요약

이 논문은 다중 시야 카메라 입력을 사용하여 자동차 전환 중 운전사의 준비 상태와 탈취 시간을 예측하는 기계시각 기반 시스템을 제안한다. 수동 운전으로의 전환 과정에서의 안정성을 높이기 위해 손, 시선, 활동 특징을 추정한다. 다양한 카메라 각도에서도 뛰어난 성능을 보이며, 전환 후 성능 지표를 도입하여 전환 전 예측 지표와 운전 안정성 간의 강한 상관관계를 입증한다.

ABSTRACT

To make safe transitions from autonomous to manual control, a vehicle must have a representation of the awareness of driver state; two metrics which quantify this state are the Observable Readiness Index and Takeover Time. In this work, we show that machine learning models which predict these two metrics are robust to multiple camera views, expanding from the limited view angles in prior research. Importantly, these models take as input feature vectors corresponding to hand location and activity as well as gaze location, and we explore the tradeoffs of different views in generating these feature vectors. Further, we introduce two metrics to evaluate the quality of control transitions following the takeover event (the maximal lateral deviation and velocity deviation) and compute correlations of these post-takeover metrics to the pre-takeover predictive metrics.

연구 동기 및 목표

• 운전사 상태 준비도를 정량화하여 자동운전에서 수동운전으로의 안전한 전환을 가능하게 하기 위해.
• 관찰 가능한 운전사 행동을 기반으로 탈취 시간을 예측하는 데이터 기반 모델을 개발하기 위해.
• 다양한 카메라 시점이 준비도 및 탈취 시간 추정 정확도에 미치는 영향을 평가하기 위해.
• 제안된 전환 후 성능 지표(횡방향 이탈 및 속도 이탈)를 도입하고 분석하기 위해.
• 전환 전 예측 지표와 전환 후 운전 안정성 간의 상관관계를 분석하여 안전성 검증을 수행하기 위해.

제안 방법

• 다중 시야 카메라 시스템을 활용하여 운전사의 손 위치, 활동, 시선 위치를 입력 특징으로 캡처한다.
• 시각적 관찰에서 유도된 특징 벡터를 기반으로 기계학습 모델을 훈련하여 관찰 가능한 준비도 지수와 탈취 시간을 예측한다.
• 다양한 카메라 각도에서의 모델 성능에 대한 내구성을 평가하며, 특징 품질과 예측 정확도 간의 상충 관계를 분석한다.
• 전환 후 성능 지표로 최대 횡방향 이탈과 목표 궤도에서의 속도 이탈을 도입한다.
• 전환 전 예측 지표(준비도 지수, 탈취 시간)와 전환 후 운전 안정성 지표 간의 상관계수를 계산한다.
• 다양한 카메라 구성이 적용된 실제 주행 데이터를 사용하여 모델 성능을 검증한다.

실험 결과

연구 질문

• RQ1 다양한 카메라 시점에서 탈취 시간 및 준비도 지수 예측의 정확도는 어떻게 변화하는가?
• RQ2 전환 전 운전사 상태 예측과 전환 후 운전 안정성 간의 관계는 어떠한가?
• RQ3 다른 카메라 각도에서 유도된 손 및 시선 특징 표현 방식은 모델 성능에 어떤 영향을 미치는가?
• RQ4 제안된 전환 후 지표(횡방향 이탈 및 속도 이탈)가 전환 전 예측 지표와 얼마나 상관관계가 있는가?
• RQ5 데이터 기반 모델이 실제 주행 환경에서 다양한 카메라 구성에 대해 안정적인 성능을 달성할 수 있는가?

주요 결과

• 관찰 가능한 준비도 지수 및 탈취 시간 예측을 위한 제안된 기계학습 모델은 다중 시야 카메라 시점에서 뛰어난 내구성을 보이며 단일 시점 접근 방식을 능가한다.
• 예측된 탈취 시간과 실제 전환 후 횡방향 이탈 간에 높은 상관관계를 보이며, 전환 안정성에 대한 신뢰할 수 있는 예측 능력을 입증한다.
• 다중 시야 입력에서 추출한 시선 및 손 활동 특징은 제한된 시점 설정 대비 예측 정확도를 크게 향상시킨다.
• 관찰 가능한 준비도 지수와 전환 후 횡방향 이탈 간에 강한 음의 상관관계가 관찰되어, 준비도가 높을수록 전환이 더 매끄럽다는 것을 확인한다.
• 전환 후 속도 이탈 역시 전환 전 지표와 상관관계가 있으며, 모델의 전반적인 제어 전환 품질에 대한 예측 능력을 검증한다.
• 다양한 카메라 각도에서도 일관된 성능을 유지함으로써, 실제 자동차 자동운전 시스템에 실용적으로 구현 가능함을 시사한다.