[论文解读] A Virtual Reference Point Kinematic Guidance Law for 3-D Path-Following of Autonomous Underwater Vehicles

Degorre, Loïck, Thor I. Fossen+2 more|arXiv (Cornell University)|Jan 1, 2023

Fault Detection and Control Systems被引用 2

一句话总结

本文提出了一种改进的命中/未命中检测概率（POD）方法，用于评估机器学习分类器在人类驾驶员变道行为预测中的表现，该方法引入了概率输出而非二元决策。通过引入变道剩余时间作为过程参数，该方法在保持简单性的同时，提高了标准命中/未命中评估的可靠性，其结果与更复杂的'a vs. a' POD方法更加接近，并提升了深度学习模型的特征选择准确性。

ABSTRACT

International audience

研究动机与目标

• 解决标准机器学习性能指标（如准确率、F-score以及ROC/PR曲线）中缺乏对过程参数的考虑的问题。
• 通过引入分类器输出的概率检测概率，提高标准命中/未命中POD方法的可靠性，该方法将分类器输出视为二元（0或1）结果。
• 为安全关键应用中评估机器学习分类器提供一种更简单但更准确的'a vs. a'POD方法替代方案。
• 基于真实驾驶模拟器数据，验证该方法在使用深度自编码器特征预测变道行为中的有效性。
• 证明改进的方法在特征选择和性能评估上比标准命中/未命中方法更具一致性和可靠性。

提出的方法

• 改进的命中/未命中POD方法将分类器的二元输出结果（0或1）替换为每个时间步的变道预测概率。
• 使用过程参数——变道事件发生前的剩余时间——对数据进行分箱，并计算各时间区间的检测率。
• 对于每个分箱，检测概率基于分类器的输出概率计算，而不仅依赖于是/否的预测结果。
• 通过绘制检测概率与事件发生前时间的关系图，生成最终的POD曲线，从而实现在不同时间条件下的性能评估。
• 通过与标准命中/未命中方法和'a vs. a'方法在真实驾驶模拟器数据上的对比，验证该方法的有效性。
• 性能通过a90/95值（即检测概率达到90%或95%的时间点）进行评估，结果在多个驾驶员和模型之间进行聚合。

实验结果

研究问题

• RQ1 在评估机器学习模型预测驾驶员行为时，引入分类器的概率输出在多大程度上提高了标准命中/未命中POD方法的可靠性？
• RQ2 改进的命中/未命中POD方法在识别最优特征集用于变道预测方面，与更复杂的'a vs. a'POD方法相比，其一致性如何？
• RQ3 在不同驾驶员和机器学习模型下，改进方法是否能产生比标准命中/未命中方法更一致、更准确的a90/95值（事件发生前时间阈值）？
• RQ4 在自动驾驶安全系统等实际应用中，改进的POD方法是否能在保持简单性的同时提升性能评估的准确性？
• RQ5 在使用所提出的改进POD框架评估时，人工神经网络（ANN）、支持向量机（SVM）、隐马尔可夫模型（HMM）和随机森林（RF）等不同机器学习模型在预测变道行为方面表现如何？

主要发现

• 改进的命中/未命中POD方法的结果与'a vs. a'方法相比，显著优于标准命中/未命中的方法，24组驾驶员-算法组合中有18组显示出更好的一致性。
• 在变道预测中，改进方法在特征选择方面提高了可靠性，其识别出的最优编码器层与'a vs. a'方法的一致性高于与标准命中/未命中方法的一致性。
• 最佳a90/95值（即检测概率达到90%或95%的时间点）始终由人工神经网络（ANNs）实现，其表现优于SVM、HMM和随机森林模型。
• 通过考虑概率输出，该方法减少了预测中的过度自信，从而得出了更保守、更现实的性能估计。
• 与'a vs. a'方法相比，该方法保持了简单性，同时增强了可靠性，因此适用于安全关键系统中的实际部署。
• 在24组案例中，有18组的最优编码器层由改进的命中/未命中方法识别出的结果与'a vs. a'方法一致，而标准命中/未命中方法仅匹配了9组。