[论文解读] E2ETag: An End-to-End Trainable Method for Generating and Detecting Fiducial Markers

J. Brennan Peace, Eric Psota+2 more|arXiv (Cornell University)|May 28, 2021

Advanced Image and Video Retrieval Techniques被引用 8

一句话总结

E2ETag 提出了一种端到端可训练的框架，通过可微分图像增强和叠加技术，联合优化特征标记的生成与检测。它通过使用可反向传播的增强技术进行合成训练，学习鲁棒的标记设计与检测器，在运动模糊、噪声和曝光不良等条件下显著优于现有方法。

ABSTRACT

Existing fiducial markers solutions are designed for efficient detection and decoding, however, their ability to stand out in natural environments is difficult to infer from relatively limited analysis. Furthermore, worsening performance in challenging image capture scenarios - such as poor exposure, motion blur, and off-axis viewing - sheds light on their limitations. E2ETag introduces an end-to-end trainable method for designing fiducial markers and a complimentary detector. By introducing back-propagatable marker augmentation and superimposition into training, the method learns to generate markers that can be detected and classified in challenging real-world environments using a fully convolutional detector network. Results demonstrate that E2ETag outperforms existing methods in ideal conditions and performs much better in the presence of motion blur, contrast fluctuations, noise, and off-axis viewing angles. Source code and trained models are available at https://github.com/jbpeace/E2ETag.

研究动机与目标

• 解决传统特征标记在运动模糊、噪声和曝光不良等成像条件下性能受限的问题。
• 克服传统标记静态、基于启发式的设计缺陷，使其缺乏对真实世界视觉退化的适应能力。
• 开发一个统一的可训练系统，联合优化标记生成与检测器性能，以实现多样环境下的鲁棒性。
• 通过可微分增强技术实现合成训练，模拟真实世界图像采集条件，无需依赖真实数据。
• 提供一个框架，使用完全卷积神经网络检测器，在受控且逼真的失真条件下评估标记的鲁棒性。

提出的方法

• 使用转置卷积神经网络从一个热向量表示生成特征标记。
• 在训练过程中应用可反向传播的图像增强技术（如运动模糊、对比度波动和白平衡偏移），以模拟真实世界的退化。
• 通过可微分叠加技术将生成的标记叠加到真实图像上，实现生成器与检测器的端到端训练。
• 采用全卷积神经网络（FCN）检测器，在一次前向传播中同时预测标记的位置、身份和位姿。
• 使用带有随机增强的合成数据端到端训练整个系统，避免在训练期间依赖真实世界中的标记位置。
• 使用可微分损失函数，结合定位、分类和位姿估计的监督信号，以优化标记和检测器组件。

实验结果

研究问题

• RQ1 端到端可训练系统能否联合优化特征标记设计与检测器性能，从而在真实世界条件下提升鲁棒性？
• RQ2 使用可微分增强技术的合成训练在实现对真实世界图像失真（如模糊和噪声）泛化方面有多有效？
• RQ3 在具有挑战性的成像条件下，所提出方法在多大程度上优于现有特征标记（如AprilTag、ChromaTag）？
• RQ4 尽管仅在合成数据上进行训练，检测器是否能无需在真实数据上微调即可泛化到真实图像？
• RQ5 与非可微分数据增强相比，可反向传播的叠加技术如何提升标记的可检测性与鲁棒性？

主要发现

• 在所有测试增强条件下，E2ETag 的平均精确率为 0.9333，平均召回率为 0.5600，显著优于 AprilTag 和 ChromaTag 在运动模糊和对比度波动下的表现。
• 在运动模糊条件下，E2ETag 的精确率为 0.9583，召回率为 0.3943，而 AprilTag 的精确率为 0.4375，召回率为 0.1200，表明其具有更优的鲁棒性。
• 在低对比度和噪声条件下，E2ETag 的精确率为 0.9439，召回率为 0.5771，远超 ChromaTag 的精确率 0.0039 和召回率 0.1143。
• 该方法在 AprilTag 和 ChromaTag 均失效的困难情况下仍能成功检测标记，如 200% 缩放的困难检测可视化所示。
• 尽管仅在合成数据上训练，E2ETag 仍能很好地泛化到真实图像，若在真实数据上微调，检测性能可进一步提升。
• 在 640×640 分辨率帧上，使用 RTX 2080 Ti GPU 时检测器运行速度为 10 FPS，表明其具备实际可行性，尽管仍慢于高度优化的基线方法（如 AprilTag 的 900 FPS）。