[论文解读] Efficient Event Camera Volume System

Juan Camilo Soto, Ian Wilfred Noronha+2 more|arXiv (Cornell University)|Mar 16, 2026

Advanced Memory and Neural Computing被引用 0

一句话总结

EECVS 将事件流建模为连续时间狄拉克冲击，并在 DCT、DTFT 和 DWT 之间自适应选择，搭配系数剪枝，以实现无伪影、密度感知的压缩与实时部署，并具备强大的跨数据集泛化能力。

ABSTRACT

Event cameras promise low latency and high dynamic range, yet their sparse output challenges integration into standard robotic pipelines. We introduce ameframew (Efficient Event Camera Volume System), a novel framework that models event streams as continuous-time Dirac impulse trains, enabling artifact-free compression through direct transform evaluation at event timestamps. Our key innovation combines density-driven adaptive selection among DCT, DTFT, and DWT transforms with transform-specific coefficient pruning strategies tailored to each domain's sparsity characteristics. The framework eliminates temporal binning artifacts while automatically adapting compression strategies based on real-time event density analysis. On EHPT-XC and MVSEC datasets, our framework achieves superior reconstruction fidelity with DTFT delivering the lowest earth mover distance. In downstream segmentation tasks, EECVS demonstrates robust generalization. Notably, our approach demonstrates exceptional cross-dataset generalization: when evaluated with EventSAM segmentation, EECVS achieves mean IoU 0.87 on MVSEC versus 0.44 for voxel grids at 24 channels, while remaining competitive on EHPT-XC. Our ROS2 implementation provides real-time deployment with DCT processing achieving 1.5 ms latency and 2.7X higher throughput than alternative transforms, establishing the first adaptive event compression framework that maintains both computational efficiency and superior generalization across diverse robotic scenarios.

研究动机与目标

• 在动态、高对比环境中以事件相机实现鲁棒感知的动机。
• 开发自适应、基于变换的压缩框架，以匹配多样的场景密度。
• 通过在连续时间建模事件，消除时间分箱伪影。
• 实现跨多个机器人数据集的实时部署与评估。
• 评估压缩表示对下游任务的泛化能力。

提出的方法

• 将事件流建模为连续时间的狄拉克冲击列以避免时间分箱伪影。
• 基于窗口事件密度引入 DCT、DTFT、DWT 的密度驱动变换选择。
• 使用狄拉克冲击模型的内积（c_w,k = sum_i p_i φ_k(t_i)）计算系数。
• 在每个窗口保留固定预算 M 的系数，并进行变换特定的剪枝（DCT：保留低频；DTFT/DWT：保留最大幅度的系数）。
• 将保留的系数打包为适用于标准感知管线的密集表示。

Figure 1: Event-to-dense representation in EECVS. Incoming event streams are processed within the framework and converted into compact dense representations through the application of DCT, DTFT, or DWT.

实验结果

研究问题

• RQ1 基于实时事件密度的自适应变换选择，是否能提升事件相机流的压缩质量与效率？
• RQ2 在稀疏、适中和密集的事件 regime 下，DCT、DTFT、DWT 在保持时间保真度和空间细节方面有何比较？
• RQ3 密度驱动的压缩及其得到的表示，是否能很好地泛化到下游任务及跨数据集？

主要发现

• 在大多数重构场景中，DTFT 实现了最低的地球搬运距离（8/9 情况下）。
• 在 M=8 系数下，DCT 处理实现了最低延迟（1.5 ms），并且吞吐量比 DTFT 或 DWT 高约 2.7×。
• 在 MVSEC 的 24 通道上，EECVS 的平均 IoU 为 0.87，而体素网格为 0.44，展示了强跨数据集泛化能力。
• 在 EHPT-XC 上，EECVS 仍具竞争力，IoU 落后体素表示约七点，但具备计算优势。
• DTFT 提供在多样场景中的鲁棒时间保真度；在稀疏模式下偏好 DWT，密集活动则偏好 DCT 以提高效率。
• DTFT 选择在八个实验中给出最小 EMD，而整体 IoU 在通道预算为 16 与 24 时均保持稳定（0.82）。

Figure 2: Compression process for a single event window. Events are aggregated, transformed with a basis selected according to activity density, pruned by either low-frequency retention (DCT) or magnitude selection (DTFT/DWT), and packed into dense representations.