[논문 리뷰] AI-as-a-Service Toolkit for Human-Centered Intelligence in Autonomous Driving

Valerio De, Saira Bano외 12명|arXiv (Cornell University)|2022. 02. 03.

Autonomous Vehicle Technology and Safety인용 수 5

한 줄 요약

이 논문은 실시간 스트레스 감지 기술과 얼굴 분석을 융합한 강화학습 기반 주행 스타일 개인화를 통해 자율주행에서 인간 중심의 지능을 실현하는 AI-as-a-Service (AIaaS) 툴킷을 제시한다. 시스템은 생리적 및 시각적 데이터를 기반으로 차량 행동(보수적, 정상, 공격적)을 조정하여 CARLA 시뮬레이션 환경에서 운전자 스트레스를 감소시키는 적응형 AI 제어를 구현한다.

ABSTRACT

This paper presents a proof-of-concept implementation of the AI-as-a-Service toolkit developed within the H2020 TEACHING project and designed to implement an autonomous driving personalization system according to the output of an automatic driver's stress recognition algorithm, both of them realizing a Cyber-Physical System of Systems. In addition, we implemented a data-gathering subsystem to collect data from different sensors, i.e., wearables and cameras, to automatize stress recognition. The system was attached for testing to a driving simulation software, CARLA, which allows testing the approach's feasibility with minimum cost and without putting at risk drivers and passengers. At the core of the relative subsystems, different learning algorithms were implemented using Deep Neural Networks, Recurrent Neural Networks, and Reinforcement Learning.

연구 동기 및 목표

• 사이버-물리 시스템의 시스템(CPSoS)에서 인간 중심의 적응을 가능하게 하는 AIaaS 소프트웨어 툴킷 개발
• 실시간 생리적 및 시각적 데이터를 통합하여 운전자 스트레스 수준을 추론하고 적응형 시스템 반응을 제공
• 감지된 인지 상태를 기반으로 자율주행 행동을 개인화하는 강화학습 에이전트 구현
• 조립 가능하고 하드웨어에 종속되지 않는 학습 모듈을 통해 프라이버시 인식형, 엣지 호환 가능한 AI 구현
• 실시간 피드백 루프를 갖춘 시뮬레이션 환경을 통해 인간 중심의 지능이 자율주행에서 실현 가능한지 검증

제안 방법

• 생리 상태 모니터링을 위해 Shimmer3 GSR+ 장치를 사용하여 전기적 피부 반응(GSR) 및 광plethysmography(PPG) 신호를 측정
• OpenFace를 사용하여 영상 데이터에서 68개의 얼굴 랜드마크, 머리 자세 및 시선 방향을 추출하여 정서적 및 인지 상태 추론
• MQTT 및 Mosquitto를 사용한 데이터 브로커링 시스템을 구현하여 센서와 학습 모듈 간의 발행/구독 통신을 지원
• WESAD 데이터셋을 기반으로 에코 스테이트 네트워크(ESN)를 훈련하여 실시간으로 GSR 신호로부터 스트레스 수준을 추론
• 예측된 스트레스 수준에 기반해 주행 프로파일(보수적, 정상, 공격적)을 선택하는 액터-크리틱 알고리즘을 사용한 강화학습 에이전트 설계
• AIaaS 프레임워크를 CARLA 자율주행 시뮬레이터에 통합하여 차량 행동 제어 및 시뮬레이션 중 피드백 데이터 수집

실험 결과

연구 질문

• RQ1 AIaaS 툴킷은 인간의 인지적 및 정서적 상태에 기반해 실시간으로 적응형 자율주행 행동을 개인화하는 데 어떻게 기여할 수 있는가?
• RQ2 생리적 신호(예: GSR)와 얼굴 특징(예: 시선, 표정)을 사용해 시뮬레이션 주행 환경에서 운전자 스트레스를 얼마나 정확히 추론할 수 있는가?
• RQ3 강화학습은 운전자 스트레스를 감소시키면서도 안전성과 성능을 유지하는 데 효과적으로 주행 행동을 조절하는 데 성공할 수 있는가?
• RQ4 모듈형, 조립 가능하고 하드웨어에 종속되지 않는 AIaaS 아키텍처는 CPSoS 응용 분야에서 이질적인 센서와 학습 모델을 어떻게 통합할 수 있는가?
• RQ5 엣지 컴퓨팅 인식형 AI 서비스를 활용해 자율 시스템에 인간 피드백 루프를 통합하는 데 있어 기술적 및 아키텍처적 과제는 무엇인가?

주요 결과

• AIaaS 툴킷은 시뮬레이션 주행 동안 지속적인 스트레스 모니터링을 위한 웨어러블 및 시각 센서 데이터의 실시간 통합을 성공적으로 구현했다.
• 에코 스테이트 네트워크(ESN)는 GSR 신호로부터 스트레스 수준을 효과적으로 실시간으로 추론하여 엣지 배포에 적합함을 입증했다.
• 강화학습 에이전트는 스트레스 수준을 감소시키는 주행 프로파일을 성공적으로 학습했으며, 특히 보수적 프로파일이 스트레스 지표에 가장 유리한 영향을 미쳤다.
• MQTT 기반의 데이터 브로커링은 AIaaS 프레임워크 내 분산된 센서 및 학습 모듈 간 효율적이고 분리된 통신을 가능하게 했다.
• CARLA 시뮬레이터와의 통합을 통해 낮은 비용, 안전성 및 확장성을 확보한 인간 중심 AI 시스템의 실현 가능성을 확인할 수 있었다.
• AIaaS 툴킷의 모듈형 설계는 학습 모듈 및 센서의 플러그 앤 플레이 배포를 가능하게 하여 다양한 하드웨어 플랫폼 간 재사용성과 이식성을 지원했다.