[论文解读] Event-based Vision for Early Prediction of Manipulation Actions

Daniel Deniz, Cornelia Fermüller+3 more|arXiv (Cornell University)|Jul 26, 2023

Advanced Memory and Neural ComputingEngineering被引用 3

一句话总结

该论文提出一种基于事件的视觉系统，采用Transformer架构，从异步神经形态传感器数据中实时预测操作动作。通过利用事件中的时空动态特性，该方法在预测延迟方面相比基于视频的模型减少了2–3秒，并且在细粒度动作识别任务中，平均准确率比基于视频的Transformer高出7.6%。

ABSTRACT

Neuromorphic visual sensors are artificial retinas that output sequences of asynchronous events when brightness changes occur in the scene. These sensors offer many advantages including very high temporal resolution, no motion blur and smart data compression ideal for real-time processing. In this study, we introduce an event-based dataset on fine-grained manipulation actions and perform an experimental study on the use of transformers for action prediction with events. There is enormous interest in the fields of cognitive robotics and human-robot interaction on understanding and predicting human actions as early as possible. Early prediction allows anticipating complex stages for planning, enabling effective and real-time interaction. Our Transformer network uses events to predict manipulation actions as they occur, using online inference. The model succeeds at predicting actions early on, building up confidence over time and achieving state-of-the-art classification. Moreover, the attention-based transformer architecture allows us to study the role of the spatio-temporal patterns selected by the model. Our experiments show that the Transformer network captures action dynamic features outperforming video-based approaches and succeeding with scenarios where the differences between actions lie in very subtle cues. Finally, we release the new event dataset, which is the first in the literature for manipulation action recognition. Code will be available at https://github.com/DaniDeniz/EventVisionTransformer.

研究动机与目标

• 通过基于事件的视觉技术实现实时人机交互中人类操作动作的早期且持续的预测。
• 解决机器人领域中低延迟动作识别的挑战，因为延迟会阻碍有效规划与协作。
• 开发一种能够捕捉手-物体交互中细微动态线索的模型，尤其适用于仅在运动模式上有所差异的动作。
• 发布首个公开的用于细粒度操作动作识别的事件数据集。
• 证明事件处理在捕捉动作分类中运动动态方面的优越性，优于基于视频的方法。

提出的方法

• 该方法采用视觉Transformer（ViT）架构，处理从异步事件流生成的时间表面，实现在线、增量式推理。
• 事件在固定时间间隔（例如33 ms）内聚合为时间表面，随后输入Transformer进行时空特征学习。
• 模型执行在线预测，随每个新事件更新置信度分数，实现在动作完成前的早期分类。
• Transformer中的自注意力机制可识别显著的时空模式，如手部运动轨迹和物体交互阶段。
• 消融研究将基于事件的Transformer与在相同动作数据集上训练的基于视频的Transformer进行对比，使用相同的硬件和计算负载。
• 分析注意力图和置信度演化过程，以解释模型决策机制，并评估网络如何聚焦于重复运动或初始手部姿势等动态线索。

Figure 1: Example of online prediction of a manipulation action (“play with a stone”) using a Transformer architecture from a stream of asynchronous events. Event-wise processing provides a prediction with every new event. Top: action frames and continuous stream of events from the neuromorphic sens

实验结果

研究问题

• RQ1 与基于视频的方法相比，基于事件视觉的Transformer架构是否能实现更早且更准确的动作预测？
• RQ2 Transformer模型中的注意力机制如何识别并优先关注与动作预测相关的时空模式？
• RQ3 在识别同一物体上细微的动态差异时，事件传感器在多大程度上优于帧式相机？
• RQ4 与视频片段的批处理相比，在线事件驱动推理实现了多大的延迟降低？
• RQ5 模型在循环动作与离散动作上的性能表现有何差异？两类动作分别呈现出怎样的注意力模式？

主要发现

• 基于事件的Transformer在平均准确率上比基于视频的Transformer高出7.6%，证明其在识别细粒度操作动作方面具有更优性能。
• 模型在手-物体接触后约0.7秒内达到80%的置信度，可提前预测出正确动作标签，显著早于基于视频的模型。
• 在线推理相比传统分类方法将预测延迟降低了2–3秒，实现了真正的实时感知-动作闭环。
• 注意力图显示，模型聚焦于运动动态特征，如摇晃或戳刺等循环动作的起始与结束阶段，而非静态的物体外观。
• 对于离散动作，注意力集中在初始手部姿势以及操作过程中的运动轨迹，凸显了模型对动态运动线索的敏感性。
• 尽管计算成本相近，基于事件的模型每秒可处理高达4,750个时间表面，运行速度超过实时，且预测延迟更低。

Figure 2: Pipeline of the proposed Mobilenet-based Transformer architecture for online inference. The event camera triggers asynchronous events which are accumulated into a Time Surface with exponential decay [ 36 ] , in this example with a constant $\tau=33ms$ . A Mobilenet architecture extracts sp