[论文解读] Event-based Monocular Dense Depth Estimation with Recurrent Transformers

Xu Liu, Jianing Li+2 more|arXiv (Cornell University)|Dec 6, 2022

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出 EReFormer，首个基于纯 Transformer 的事件相机单目深度估计方法，采用空间变换器融合（STF）模块进行全局上下文建模，并引入门控循环视觉 Transformer（GRViT）单元以高效利用连续事件流中的长程时序依赖。EReFormer 在合成数据集（DENSE）和真实世界数据集（MVSEC）上均达到最先进性能，显著优于先前方法，同时降低 GPU 显存消耗。

ABSTRACT

Event cameras, offering high temporal resolutions and high dynamic ranges, have brought a new perspective to address common challenges (e.g., motion blur and low light) in monocular depth estimation. However, how to effectively exploit the sparse spatial information and rich temporal cues from asynchronous events remains a challenging endeavor. To this end, we propose a novel event-based monocular depth estimator with recurrent transformers, namely EReFormer, which is the first pure transformer with a recursive mechanism to process continuous event streams. Technically, for spatial modeling, a novel transformer-based encoder-decoder with a spatial transformer fusion module is presented, having better global context information modeling capabilities than CNN-based methods. For temporal modeling, we design a gate recurrent vision transformer unit that introduces a recursive mechanism into transformers, improving temporal modeling capabilities while alleviating the expensive GPU memory cost. The experimental results show that our EReFormer outperforms state-of-the-art methods by a margin on both synthetic and real-world datasets. We hope that our work will attract further research to develop stunning transformers in the event-based vision community. Our open-source code can be found in the supplemental material.

研究动机与目标

• 解决在单目深度估计中有效建模异步事件流中稀疏空间信息与丰富时序线索的挑战。
• 克服基于 CNN 的方法因感受野局部化而难以捕捉全局上下文的局限性。
• 设计一种基于 Transformer 的架构，高效利用长程时序依赖，同时避免高昂的 GPU 显存开销。
• 在 Transformer 中引入递归机制，实现对事件流的连续处理，以支持密集深度预测。
• 弥合事件相机技术与复杂条件下（如运动模糊和低光照）实用单目深度估计之间的差距。

提出的方法

• 提出基于 Swin Transformer 块的 Transformer 编码器-解码器主干网络，以从稀疏事件中建模全局空间上下文。
• 引入空间变换器融合（STF）模块作为跳跃连接，融合多尺度特征，增强空间上下文表征能力。
• 设计门控循环视觉 Transformer（GRViT）单元，将递归机制融入 Transformer，实现高效时序建模。
• 在 GRViT 中采用更新门机制，选择性地保留或遗忘隐藏状态，平衡时序信息保留与内存效率。
• 在体素化事件网格上以端到端监督方式训练模型，以预测密集深度图。
• 将 STF 与 GRViT 整合到统一的 EReFormer 框架中，实现事件流的联合空间与时序建模。

实验结果

研究问题

• RQ1 纯 Transformer 架构能否有效建模单目深度估计中来自稀疏、异步事件数据的全局空间上下文？
• RQ2 如何将递归机制集成到 Transformer 中，以高效处理连续事件流，同时最小化 GPU 显存使用？
• RQ3 在基于 Transformer 的编码器-解码器中，融合多尺度特征的最优策略是什么？
• RQ4 所提出的 GRViT 单元在建模长程时序依赖方面，与标准注意力机制和残差连接相比表现如何？
• RQ5 在具有挑战性的条件下，基于 Transformer 的方法能否超越基于 CNN 的 SOTA 方法在事件相机单目深度估计中的表现？

主要发现

• 使用 STF 模块时，EReFormer 在绝对相对误差（Abs.Rel.）上相比基线提升 3.3%，证明其在特征融合中的有效性。
• GRViT 单元相比基线将 Abs.Rel. 降低 8.2%，证实其在时序建模中的优越性。
• 在 10m、20m 和 30m 距离下，STF 模块分别优于 ADD 和 CONCAT 操作 4.1%、5.1% 和 3.6%，且推理速度相当。
• GRViT 中的更新门机制实现最佳性能（Abs.Rel. = 0.271），且速度优于残差和注意力操作。
• 在 MVSEC 户外白天序列中，EReFormer 实现 Abs.Rel. 为 0.271，优于所有对比方法，包括使用 ADD、CONCAT 和残差连接的方法。
• EReFormer 保持低推理延迟（27.43ms），并在高速运动和低光照场景中表现出鲁棒性能，验证了其实际可用性。