[논문 리뷰] Experimental Design for Human-in-the-Loop Driving Simulations

Katherine Driggs-Campbell, Guillaume Bellegarda외 3명|arXiv (Cornell University)|2014. 01. 20.

Autonomous Vehicle Technology and Safety참고 문헌 25인용 수 13

한 줄 요약

이 논문은 실시간 인간-중심 주행 실험을 위한 실시간 주행 시뮬레이터를 제안한다. 이 시뮬레이터는 PreScan과 통합된 힘 피드백 기반 4축 운동 제어 시스템을 탑재하여, 주행 중 주의 산산이 흩어지는 행동과 자동화 시스템 간 상호작용을 제어하고 안전하게 연구할 수 있도록 한다. 운동 피드백, 센서 기반 운전자 모니터링(카메라, 눈동자 추적, 촉각 센서), 사용자 정의 가능한 환경 변수를 통해 운전자 행동을 연구할 수 있으며, 재사용이 가능한 전체 소스 코드와 데이터 처리 도구를 제공한다.

ABSTRACT

This report describes a new experimental setup for human-in-the-loop simulations. A force feedback simulator with four axis motion has been setup for real-time driving experiments. The simulator will move to simulate the forces a driver feels while driving, which allows for a realistic experience for the driver. This setup allows for flexibility and control for the researcher in a realistic simulation environment. Experiments concerning driver distraction can also be carried out safely in this test bed, in addition to multi-agent experiments. All necessary code to run the simulator, the additional sensors, and the basic processing is available for use.

연구 동기 및 목표

• 운전자 행동을 연구하기 위한 현실적이고 안전하며 제어 가능한 인간-중심 주행 시뮬레이션 플랫폼을 개발하기 위해.
• 정지형 시뮬레이터의 한계를 보완하기 위해 힘 피드백 운동 기술을 통합하여 현실감과 운전자 몰입도를 향상시키기 위해.
• 실생활의 안전 위험 없이 주의 산산이 흩어지는 행동과 인간-자동화 상호작용에 대한 제어된 실험을 가능하게 하기 위해.
• 연구자들이 실험 설정을 신속하게 수행할 수 있도록 소스 코드, 센서 통합, 데이터 처리 스크립트를 포함한 오픈소스 도구를 제공하기 위해.
• 수집된 행동 데이터를 바탕으로 고정밀 운전자 모델링을 통해 지능형 능동 안전 시스템 개발을 지원하기 위해.

제안 방법

• 4축 운동(피치, 롤, 요, 헤브)을 구현한 Force Dynamics 401CR 시뮬레이터가 실제 주행에서의 힘을 재현하여 현실감을 향상시킨다.
• PreScan(차량 역학)과 제어 컴퓨터(운동 액추에이터) 간 UDP 기반 통신 프로토콜을 통해 실시간 시뮬레이션을 구현하며, 주사율은 200 Hz이다.
• 운전자 입력은 Simulink 기반 조이스틱 인터페이스를 통해 처리되며, 실제 주행과 유사한 감속 특성(0–60 mph 12초, 60–0 mph 4초)을 얻기 위해 게인을 최적화하였다.
• 외부 카메라, Kinect, 눈동자 추적 안경, 조이스틱에 부착된 촉각 터치 센서(아두이노 및 블루투스 기반)를 통해 운전자 모니터링을 구현하였다.
• 실험 중에 스마트폰 앱을 사용해 주의 산산이 흩어지는 주행 행동(예: 문자 입력)을 시뮬레이션하였다.
• 차량 상태, 레이더 입력(전방/좌측/우측 장애물), 차선 위치, 운전자 상태(영상 및 눈동자 추적을 통한) 데이터를 수집하였으며, MATLAB 스크립트를 통해 결과를 해제하고 시각화하였다.

실험 결과

연구 질문

• RQ1 힘 피드백 운동을 탑재한 주행 시뮬레이터가 정지형 시뮬레이터에 비해 운전자 인지 및 행동에 어떤 영향을 미치는가?
• RQ2 모의된 주의 산산이 흩어지는 주행 환경이 실제 주행에서의 주의 산만 패턴을 얼마나 정확히 캡처할 수 있는가?
• RQ3 가변 환경 매개변수(예: 기상 조건, 도로 상태, 장애물 배치 등)가 운전자 반응과 안전 시스템 성능에 어떤 영향을 미치는가?
• RQ4 통합된 센서 시스템(눈동자 추적, 터치 감지, 자세 추정)이 모의 주행 작업 중 운전자 상태 변화를 신뢰성 있게 캡처할 수 있는가?
• RQ5 이 시뮬레이터 플랫폼은 자율주행 차량의 안전 시스템을 위한 예측형 운전자 모델 개발에 얼마나 효과적인가?

주요 결과

• 힘 피드백 시뮬레이터가 핵심 주행 힘을 성공적으로 재현하여 현실감을 크게 향상시키고, 사용자들이 시뮬레이션 정밀도에 대한 불만을 줄였다.
• 시스템은 200 Hz로 안정적으로 작동하며 운동과 차량 역학이 동기화되어 있어 복잡한 주행 시나리오를 실시간으로 반응적으로 시뮬레이션할 수 있었다.
• 차선 유지, 브레이킹, 시선 패턴 등 운전자 행동 데이터를 성공적으로 수집하고 MATLAB 처리 스크립트를 통해 시각화하였다.
• 아두이노 기반 촉각 센서를 통해 조이스틱에 손이 있는지 정확하게 감지하여 운전자 참여도를 실시간으로 모니터링할 수 있었다.
• 스마트폰 앱을 통한 주의 산만 행동 시뮬레이션을 통해 주의 부하와 반응 시간에 대한 제어된 반복 실험을 수행할 수 있었다.
• 긴급 정지 스위치, 안전벨트 및 게이트 잠금장치, 물리적 장벽 등의 안전 프로토콜을 통해 참가자에게 최소한의 위험을 초래하였다.