[论文解读] AI-as-a-Service Toolkit for Human-Centered Intelligence in Autonomous Driving

Valerio De, Saira Bano+12 more|arXiv (Cornell University)|Feb 3, 2022

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

本文提出了一种人工智能即服务（AIaaS）工具包，通过整合可穿戴传感器和面部分析的实时压力检测，以及基于强化学习的驾驶风格个性化，实现了自动驾驶中以人为本的智能。该系统利用生理和视觉数据，根据预测的压力水平自适应调整车辆行为（保守型、常规型、激进型），在CARLA仿真环境中实现了驾驶员压力的降低，验证了自适应AI控制的有效性。

ABSTRACT

This paper presents a proof-of-concept implementation of the AI-as-a-Service toolkit developed within the H2020 TEACHING project and designed to implement an autonomous driving personalization system according to the output of an automatic driver's stress recognition algorithm, both of them realizing a Cyber-Physical System of Systems. In addition, we implemented a data-gathering subsystem to collect data from different sensors, i.e., wearables and cameras, to automatize stress recognition. The system was attached for testing to a driving simulation software, CARLA, which allows testing the approach's feasibility with minimum cost and without putting at risk drivers and passengers. At the core of the relative subsystems, different learning algorithms were implemented using Deep Neural Networks, Recurrent Neural Networks, and Reinforcement Learning.

研究动机与目标

• 开发一种AIaaS软件工具包，以实现在信息物理系统体系（CPSoS）中的人本适应。
• 整合实时生理和视觉数据，以推断驾驶员压力水平，实现自适应系统响应。
• 实现一个基于检测到的认知状态的强化学习智能体，以个性化自动驾驶行为。
• 通过可组合的、与硬件无关的学习模块，实现隐私感知、边缘兼容的AI部署。
• 通过具有实时反馈回路的仿真环境，验证自动驾驶中人性化智能的可行性。

提出的方法

• 使用Shimmer3 GSR+设备采集皮肤电活动（GSR）和容积性光电容积脉搏波（PPG）信号，用于生理状态监测。
• 使用OpenFace从视频数据中提取68个面部关键点、头部姿态和视线方向，以推断情绪和认知状态。
• 采用MQTT和Mosquitto实现数据代理系统，支持传感器与学习模块之间的发布/订阅通信。
• 在WESAD数据集上训练回声状态网络（ESN），实现实时从GSR信号推断压力水平。
• 设计一个基于演员-评论家算法的强化学习智能体，根据预测的压力水平选择驾驶模式（保守型、常规型、激进型）。
• 将AIaaS框架与CARLA自动驾驶仿真器集成，以控制车辆行为，并在仿真过程中收集反馈数据。

实验结果

研究问题

• RQ1 AIaaS工具包如何实现基于人类认知和情绪状态的自动驾驶行为实时自适应个性化？
• RQ2 在仿真驾驶环境中，生理信号（如GSR）和面部特征（如视线、表情）在多大程度上可用于推断驾驶员压力？
• RQ3 强化学习能否有效学习调节驾驶行为，以降低感知的驾驶员压力，同时保持安全性和性能？
• RQ4 模块化、可组合且与硬件无关的AIaaS架构如何支持在CPSoS应用中集成异构传感器和学习模型？
• RQ5 在使用边缘计算感知的AI服务将人类反馈回路嵌入自动驾驶系统时，面临哪些技术和架构挑战？

主要发现

• AIaaS工具包成功实现了可穿戴传感器和视觉传感器数据的实时集成，实现了仿真驾驶过程中的持续压力监测。
• 回声状态网络（ESN）在从GSR信号中实现实时压力水平推断方面表现良好，证明其适用于边缘部署。
• 强化学习智能体成功学习到选择能降低压力水平的驾驶模式，其中保守型驾驶模式对压力指标的影响最为有利。
• 基于MQTT的数据代理机制实现了AIaaS框架内分布式传感与学习模块之间高效、松耦合的通信。
• 与CARLA的集成实现了低成本、安全且可扩展的人本AI系统验证，证实了该方法的可行性。
• AIaaS工具包的模块化设计支持学习模块和传感器的即插即用部署，提升了在不同硬件平台上的可重用性和可移植性。