[论文解读] Autonomous driving challenge: To Infer the property of a dynamic object based on its motion pattern using recurrent neural network

Mona Fathollahi, Rangachar Kasturi|arXiv (Cornell University)|Sep 1, 2016

Anomaly Detection Techniques and Applications参考文献 8被引用 3

一句话总结

本文提出使用长短期记忆（LSTM）循环神经网络，基于物体运动轨迹对自动驾驶场景中的动态物体进行分类，区分弹跳性（轻质）与非弹跳性（重质）物体。该方法在真实世界高尔夫球轨迹上达到93%的准确率，在木制立方体上达到100%的准确率，表明仅通过运动模式即可可靠推断物体属性，从而为更安全的障碍物应对决策提供支持。

ABSTRACT

In autonomous driving applications a critical challenge is to identify action to take to avoid an obstacle on collision course. For example, when a heavy object is suddenly encountered it is critical to stop the vehicle or change the lane even if it causes other traffic disruptions. However,there are situations when it is preferable to collide with the object rather than take an action that would result in a much more serious accident than collision with the object. For example, a heavy object which falls from a truck should be avoided whereas a bouncing ball or a soft target such as a foam box need not be.We present a novel method to discriminate between the motion characteristics of these types of objects based on their physical properties such as bounciness, elasticity, etc.In this preliminary work, we use recurrent neural net-work with LSTM cells to train a classifier to classify objects based on their motion trajectories. We test the algorithm on synthetic data, and, as a proof of concept, demonstrate its effectiveness on a limited set of real-world data.

研究动机与目标

• 为解决在自动驾驶中基于物体物理属性（如弹跳性）判断是否应避让或安全跨越动态障碍物的挑战。
• 通过利用运动轨迹作为可靠线索，克服视觉物体识别的局限性（如分辨率低、运动模糊、无法从外观推断质量）。
• 开发一种时间序列分类模型，仅从轨迹数据中推断物体属性（如弹跳性、弹性），而无需依赖视觉特征。
• 通过合成数据和有限的真实世界数据集验证该方法，证明其在自动驾驶车辆中实现实时决策的可行性。

提出的方法

• 使用Blender结合Bullet物理引擎生成弹跳物体的合成运动轨迹，模拟不同质量但形状恒定的物体。
• 数据集包含1,000组训练序列和1,000组测试序列，分为两类：轻质/弹跳性（高弹性）和重质/非弹跳性（低弹性）物体。
• 采用两层LSTM网络，每层64个单元，dropout率为0.8，输入按维度归一化，并使用截断反向传播时间以缓解梯度消失问题。
• 模型处理三维轨迹序列（X、Y、Z坐标）或单轴Z轴数据，最终LSTM隐藏状态输入Softmax层进行分类。
• 真实世界测试中，通过RGB摄像头捕捉轨迹，使用彩色标记进行跟踪，并在运动模糊导致数据丢失时进行插值或零填充。
• 训练好的模型仅使用Z轴轨迹在真实世界数据上进行评估，性能在高尔夫球（高弹跳性）和木制立方体（低弹跳性）上进行测量。

实验结果

研究问题

• RQ1 在自动驾驶场景中，仅通过运动轨迹模式是否能可靠地区分弹跳性（轻质）与非弹跳性（重质）物体？
• RQ2 与仅使用垂直方向（Z轴）运动相比，使用三维轨迹数据（X、Y、Z）在分类物体弹跳性方面有何优势？
• RQ3 LSTM-based物体运动模式分类的最优输入序列长度是多少？以在避免梯度问题的同时最大化准确率？
• RQ4 在合成轨迹上训练的模型是否能泛化到具有相似物理行为的真实世界动态物体？

主要发现

• 当使用三维轨迹数据（X、Y、Z）时，LSTM分类器达到81%的准确率，优于仅使用Z轴分量时的78%准确率。
• 模型表明，X和Y运动分量中的细微差异（如弹跳物体停止时间更长）可提升分类性能，超越仅依赖Z轴数据的效果。
• 分类准确率在10至15个时间步的序列长度时达到峰值，更长的序列因LSTM中的梯度消失效应导致性能下降。
• 在真实世界数据上，模型对高尔夫球（高度弹跳）的分类准确率达93%，对木制立方体（低弹跳性）的分类准确率达100%，验证了从合成轨迹到真实运动的泛化能力。
• 结果证实，即使视觉识别失效，运动轨迹仍是推断物体弹跳性等物理属性的强有力且可靠的线索。