[论文解读] GET: Group Event Transformer for Event-Based Vision

Yansong Peng, Yueyi Zhang+3 more|arXiv (Cornell University)|Oct 4, 2023

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出Group Event Transformer（GET），一种用于事件视觉的新型视觉Transformer主干网络，通过新型的Group Token表示以及两个关键模块——Event Dual Self-Attention（EDSA）和Group Token Aggregation（GTA）——实现空间、时间与极性信息的解耦。GET在四个事件分类和两个目标检测基准上达到最先进性能，在CIFAR10-DVS上的最高准确率达到84.8%，在1Mpx数据集上的mAP达到48.4%。

ABSTRACT

Event cameras are a type of novel neuromorphic sen-sor that has been gaining increasing attention. Existing event-based backbones mainly rely on image-based designs to extract spatial information within the image transformed from events, overlooking important event properties like time and polarity. To address this issue, we propose a novel Group-based vision Transformer backbone for Event-based vision, called Group Event Transformer (GET), which de-couples temporal-polarity information from spatial infor-mation throughout the feature extraction process. Specifi-cally, we first propose a new event representation for GET, named Group Token, which groups asynchronous events based on their timestamps and polarities. Then, GET ap-plies the Event Dual Self-Attention block, and Group Token Aggregation module to facilitate effective feature commu-nication and integration in both the spatial and temporal-polarity domains. After that, GET can be integrated with different downstream tasks by connecting it with vari-ous heads. We evaluate our method on four event-based classification datasets (Cifar10-DVS, N-MNIST, N-CARS, and DVS128Gesture) and two event-based object detection datasets (1Mpx and Gen1), and the results demonstrate that GET outperforms other state-of-the-art methods. The code is available at https://github.com/Peterande/GET-Group-Event-Transformer.

研究动机与目标

• 解决现有事件视觉主干网络依赖图像化设计、未能充分利用异步事件中时序与极性信息的局限性。
• 提出一种新型事件表示，通过时间戳与极性对事件进行显式分组，以保留时空动态特性。
• 设计一种基于Transformer的架构，实现在空间、时间与极性维度之间的有效跨域特征交互。
• 在多样化事件视觉任务（包括分类与目标检测）中实现卓越性能，同时保持参数效率与推理速度。

提出的方法

• 提出Group Token，一种新型事件表示方法，将异步事件按其时间戳与极性聚类为离散的、可学习的标记。
• 引入Event Dual Self-Attention（EDSA）模块，通过并行执行局部空间自注意力与分组自注意力，并结合双重残差连接，增强特征学习能力。
• 设计Group Token Aggregation（GTA）模块，采用重叠分组卷积，在空间与时空-极性域之间聚合标记，实现全局上下文整合。
• 将GET构建为三阶段Transformer主干网络，采用分层特征学习机制，使Group Tokens逐步融合为更大分组，以扩展感受野。
• 将GET与各类任务特定头模块结合，实现端到端微调，应用于图像分类与目标检测等下游任务。
• 通过超参数G（分组数量）对模型进行优化，该参数控制事件分组的粒度，并根据数据集的时序长度进行调优。

实验结果

研究问题

• RQ1 视觉Transformer主干网络是否能在不依赖图像化表示的前提下，有效利用事件流中的时序与极性信息？
• RQ2 在特征提取过程中对空间、时间与极性特征进行解耦，对事件视觉任务的性能有何影响？
• RQ3 如何设计自注意力机制，以同时建模空间关系与时间-极性维度上的组间动态？
• RQ4 分组数量G的选择如何影响在不同时间长度数据集上的模型性能？
• RQ5 在低功耗、高速条件下，所提出的架构在分类与目标检测任务中相较于现有SOTA方法的优越程度如何？

主要发现

• 在CIFAR10-DVS数据集上，GET达到84.8%的top-1准确率，较先前SOTA方法高出2.9个百分点（例如，基线EDSA方法为81.9%）。
• 在N-MNIST数据集上，GET取得99.7%的准确率，表明其在短时长、高速事件流中表现强劲。
• 在DVS128Gesture数据集上，当分组数G设置为24时，GET达到97.9%的top-1准确率，表明该设置对长序列动作具有最优分组效果。
• 在目标检测任务中，GET在1Mpx数据集上达到48.4%的mAP，在Gen1数据集上达到47.9%，优于Swin-T v2及其他SOTA模型。
• 消融实验表明EDSA与GTA模块至关重要：若用Swin-T v2或Nested-T的对应模块替代，则准确率最高下降7.4个百分点。
• 可视化结果表明，仅使用EDSA的GET能正确捕捉运动方向（如逆时针挥手），而使用标准自注意力机制的模型因时序-极性建模不足而误判运动方向。