[论文解读] Human-In-The-Loop Machine Learning for Safe and Ethical Autonomous Vehicles: Principles, Challenges, and Opportunities

Yousef Emami, Lúıs Almeida+3 more|arXiv (Cornell University)|Aug 22, 2024

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

本文提出了一种人机协同机器学习（HITL-ML）方法，通过将人类专业知识整合到课程学习、强化学习和主动学习中，实现自动驾驶汽车的安全与伦理化。该方法通过人类监督增强了模型的鲁棒性、伦理决策能力以及公众信任度，在安全性、安全性和监管框架方面具有关键贡献。

ABSTRACT

Rapid advances in Machine Learning (ML) have triggered new trends in Autonomous Vehicles (AVs). ML algorithms play a crucial role in interpreting sensor data, predicting potential hazards, and optimizing navigation strategies. However, achieving full autonomy in cluttered and complex situations, such as intricate intersections, diverse sceneries, varied trajectories, and complex missions, is still challenging, and the cost of data labeling remains a significant bottleneck. The adaptability and robustness of humans in complex scenarios motivate the inclusion of humans in the ML process, leveraging their creativity, ethical power, and emotional intelligence to improve ML effectiveness. The scientific community knows this approach as Human-In-The-Loop Machine Learning (HITL-ML). Towards safe and ethical autonomy, we present a review of HITL-ML for AVs, focusing on Curriculum Learning (CL), Human-In-The-Loop Reinforcement Learning (HITL-RL), Active Learning (AL), and ethical principles. In CL, human experts systematically train ML models by starting with simple tasks and gradually progressing to more difficult ones. HITL-RL significantly enhances the RL process by incorporating human input through techniques like reward shaping, action injection, and interactive learning. AL streamlines the annotation process by targeting specific instances that need to be labeled with human oversight, reducing the overall time and cost associated with training. Ethical principles must be embedded in AVs to align their behavior with societal values and norms. In addition, we provide insights and specify future research directions.

研究动机与目标

• 解决完全自主机器学习在复杂真实驾驶场景中的局限性，尤其是在训练数据无法覆盖罕见或文化特定行为的情况下。
• 通过在课程学习、强化学习和主动学习工作流中引入人类反馈，提升模型的泛化能力和安全性。
• 通过在人机协同中整合道德推理和情境判断，确保自动驾驶汽车行为与社会规范保持一致。
• 开发安全、可问责且透明的人机协同机器学习系统，支持人类监督，同时最小化偏差并确保符合监管要求。

提出的方法

• 采用课程学习（CL）方法，逐步训练自动驾驶模型处理从简单任务到复杂城市交叉路口的日益复杂的驾驶场景。
• 通过奖励函数塑造、动作注入和交互式学习，将人机协同强化学习（HITL-RL）集成到策略学习中，利用人类反馈优化策略。
• 应用主动学习（AL）优先标注不确定或模糊的数据样本，以降低标注成本并提高模型效率。
• 通过在奖励函数和行为策略中嵌入人类定义的价值观与规范，将伦理原则融入自动驾驶决策过程。
• 实施强大的安全机制，包括端到端加密、双向认证以及后量子密码学（例如，环学习错误，Ring Learning with Errors），以防止会话劫持和数据篡改。
• 建立监管与文档框架，明确定义人类操作员的责任，确保法律问责性，并保护人机协同机器学习系统中的隐私。

实验结果

研究问题

• RQ1 人机协同机制如何提升自动驾驶汽车在复杂真实驾驶环境中的安全性和适应性？
• RQ2 在不可避免的事故场景中，人类反馈在提升自动驾驶汽车伦理决策能力方面发挥何种作用？
• RQ3 主动学习与课程学习如何在降低数据标注成本的同时提升自动驾驶中的模型性能？
• RQ4 在人机协同机器学习流水线中，为防范网络威胁，保护人类操作员与自动驾驶系统所必需的隐私与安全机制有哪些？
• RQ5 如何设计监管框架，以确保人机协同机器学习赋能的自动驾驶汽车在问责性、透明度和伦理合规性方面的合规性？

主要发现

• HITL-RL通过支持人类对奖励函数的协同优化，显著提升了安全性与公众信任度，尤其在诸如不熟悉交通行为等边缘案例中表现突出。
• 主动学习通过优先标注具有信息量的样本，降低了标注成本，并提升了目标检测、异常检测和语义地图构建的性能。
• 课程学习通过从简单到复杂的训练任务结构化设计，提升了模型收敛速度与性能，增强了在多样化环境中的泛化能力。
• 经过适当验证的人类输入可显著提升自动驾驶汽车对场景的理解与自我识别能力，尤其在非标准交通规则或文化驾驶规范的地区。
• 包括后量子密码学和相互认证在内的强大安全协议，对于防止会话劫持、确保安全的人机交互至关重要。
• 明确定义人类操作员角色、干预协议与数据问责机制的监管框架，对于实现法律合规性及公众对人机协同机器学习在自动驾驶汽车中应用的接受度至关重要。