[论文解读] From Chaos Comes Order: Ordering Event Representations for Object Recognition and Detection

Nikola Zubić, Daniel Gehrig+2 more|arXiv (Cornell University)|Apr 26, 2023

Advanced Neural Network Applications被引用 4

一句话总结

本文提出一种基于快速Gromov-Wasserstein差异（GWD）的新型方法，用于对事件表示进行排序与优化，以实现物体识别与检测，且无需昂贵的神经网络训练。通过证明GWD与下游任务性能具有强相关性，作者发现了一种新型12通道事件表示（ERGO-12），其在1 Mpx数据集上比当前最先进方法高出6.0 mAP，在mini-ImageNet上高出3.8%，且表示搜索速度提升200倍。

ABSTRACT

Today, state-of-the-art deep neural networks that process events first convert them into dense, grid-like input representations before using an off-the-shelf network. However, selecting the appropriate representation for the task traditionally requires training a neural network for each representation and selecting the best one based on the validation score, which is very time-consuming. This work eliminates this bottleneck by selecting representations based on the Gromov-Wasserstein Discrepancy (GWD) between raw events and their representation. It is about 200 times faster to compute than training a neural network and preserves the task performance ranking of event representations across multiple representations, network backbones, datasets, and tasks. Thus finding representations with high task scores is equivalent to finding representations with a low GWD. We use this insight to, for the first time, perform a hyperparameter search on a large family of event representations, revealing new and powerful representations that exceed the state-of-the-art. Our optimized representations outperform existing representations by 1.7 mAP on the 1 Mpx dataset and 0.3 mAP on the Gen1 dataset, two established object detection benchmarks, and reach a 3.8% higher classification score on the mini N-ImageNet benchmark. Moreover, we outperform state-of-the-art by 2.1 mAP on Gen1 and state-of-the-art feed-forward methods by 6.0 mAP on the 1 Mpx datasets. This work opens a new unexplored field of explicit representation optimization for event-based learning.

研究动机与目标

• 为解决通过完整神经网络训练对每个候选事件表示进行评估时计算成本过高的问题。
• 识别一种快速、可靠的度量方法，以保持事件表示在下游任务性能中的排序关系。
• 利用高效代理度量实现事件表示的大规模超参数搜索。
• 发现新型高性能事件表示，其在目标检测与识别任务中超越现有最先进方法。

提出的方法

• 提出Gromov-Wasserstein差异（GWD）作为代理度量，用于衡量原始事件与其密集表示之间的失真程度。
• 利用GWD对表示进行排序，无需训练神经网络，与完整训练循环相比评估时间减少约200倍。
• 证明GWD在多个数据集、主干网络和任务中均能保持表示的相对性能排序。
• 应用GWD对大规模事件表示族（包括空间、时间及通道配置）进行超参数搜索。
• 以GWD作为目标函数，优化表示参数（如时间窗口、空间分箱、特征归一化等）。
• 引入不变性分析，表明GWD对仿射变换和特征拼接具有鲁棒性，增强了其作为代理度量的可靠性。

实验结果

研究问题

• RQ1 能否使用一种快速、可微分的代理度量替代完整神经网络训练，以评估事件表示？
• RQ2 Gromov-Wasserstein差异（GWD）是否能在不同数据集和网络架构中保持事件表示的相对排序？
• RQ3 GWD能否有效支持在大规模事件表示空间中的超参数搜索，以发现新型高性能配置？
• RQ4 所发现表示在目标检测与分类任务中相比现有最先进方法的性能提升如何？
• RQ5 GWD度量对事件表示中常见的变换（如仿射缩放和特征拼接）是否具有鲁棒性？

主要发现

• GWD度量与下游任务性能具有强相关性，可在无需训练神经网络的情况下实现对事件表示的准确排序。
• 所提方法相比完整训练循环，将表示评估时间减少了约200倍。
• 经优化的12通道事件表示ERGO-12在1 Mpx目标检测基准上比最先进前馈方法高出6.0 mAP。
• ERGO-12在Gen1数据集上mAP提升2.1，超越最先进方法；在mini-ImageNet基准上分类准确率高出3.8%。
• 该方法发现9通道和7通道表示（ERGO-9、ERGO-7）也优于现有基线方法（如MDES和Voxel Grid）。
• 定性结果表明，ERGO-12能检测到真实标签中未包含的物体，表明其泛化能力和鲁棒性更优。