[论文解读] Deep ChArUco: Dark ChArUco Marker Pose Estimation

Danying Hu, Daniel DeTone+3 more|arXiv (Cornell University)|Dec 8, 2018

Robotics and Sensor-Based Localization参考文献 17被引用 4

一句话总结

本文提出 Deep ChArUco，一种基于深度学习的实时系统，可在传统 OpenCV 方法失效的极端光照和运动条件下，实现对 ChArUco 标记物的鲁棒 6DoF 姿态估计。该系统结合了用于联合 ID 分类与 2D 角点检测的双头卷积神经网络（ChArUcoNet）以及一个亚像素精炼网络（RefineNet），并使用经过极端增强的合成数据与自动标注数据进行训练，在低光照和高模糊场景中实现了卓越的准确性和鲁棒性。

ABSTRACT

ChArUco boards are used for camera calibration, monocular pose estimation, and pose verification in both robotics and augmented reality. Such fiducials are detectable via traditional computer vision methods (as found in OpenCV) in well-lit environments, but classical methods fail when the lighting is poor or when the image undergoes extreme motion blur. We present Deep ChArUco, a real-time pose estimation system which combines two custom deep networks, ChArUcoNet and RefineNet, with the Perspective-n-Point (PnP) algorithm to estimate the marker's 6DoF pose. ChArUcoNet is a two-headed marker-specific convolutional neural network (CNN) which jointly outputs ID-specific classifiers and 2D point locations. The 2D point locations are further refined into subpixel coordinates using RefineNet. Our networks are trained using a combination of auto-labeled videos of the target marker, synthetic subpixel corner data, and extreme data augmentation. We evaluate Deep ChArUco in challenging low-light, high-motion, high-blur scenarios and demonstrate that our approach is superior to a traditional OpenCV-based method for ChArUco marker detection and pose estimation.

研究动机与目标

• 解决传统基于 OpenCV 的 ChArUco 检测在低光照和高运动模糊条件下失效的问题。
• 为增强现实与机器人应用开发一种在挑战性视觉条件下具备鲁棒性的实时标记检测系统。
• 通过结合深度学习与经典 PnP 算法，提升 6DoF 姿态恢复的估计精度。
• 设计一种训练流程，利用合成数据与自动标注的真实视频，以克服罕见视觉条件下数据稀缺的问题。
• 即使在传统方法因阴影、光照不足或运动模糊而失效的情况下，也能实现对 ChArUco 标记物的可靠检测。

提出的方法

• 提出 ChArUcoNet，一种双头全卷积神经网络，可联合预测每个检测到的 ChArUco 图案的标记 ID 和 2D 角点位置。
• 引入 RefineNet，一种亚像素精炼网络，通过在局部 8×8 区域上学习回归，对 ChArUcoNet 的粗略检测结果进行精炼，从而提升角点定位精度。
• 使用混合数据管道训练网络，结合目标标记的真实视频序列的自动标注结果与合成的亚像素精度角点数据。
• 应用极端数据增强技术，包括随机光照变化、运动模糊和阴影模拟，以提升对恶劣条件的鲁棒性。
• 利用 Perspective-n-Point (PnP) 算法，从深度网络获得的精炼 2D-3D 对应点中计算 6DoF 姿态。
• 通过利用 ChArUcoNet 的全卷积结构实现实时推理，支持多种分辨率处理，并可通过 RefineNet 可选地进行高分辨率精炼。

实验结果

研究问题

• RQ1 深度学习是否能提升在 OpenCV 失效的低光照与高运动模糊条件下 ChArUco 标记检测与姿态估计的鲁棒性？
• RQ2 与经典角点精炼方法相比，两阶段深度学习流水线（检测 + 亚像素精炼）在极端视觉条件下的有效性如何？
• RQ3 合成数据与自动标注的真实数据在多大程度上可减少对手动标注的需求，同时保持高性能？
• RQ4 在具有挑战性的场景中，使用特定模式的网络并结合极端数据增强，是否显著优于通用检测方法？
• RQ5 所提出的系统是否能在恶劣光照与运动条件下保持实时性能，同时实现亚像素精度？

主要发现

• 在 3 lux 或以上照度的 26 个测试序列中，Deep ChArUco 实现了 100% 的检测准确率，而 OpenCV 在 1 lux 及以下时完全失效。
• 在有阴影的条件下（例如 100 lux 但存在投射阴影），Deep ChArUco 保持 100% 准确率，平均重投影误差为 0.102 像素，而 OpenCV 的准确率为 30.1%，误差为 0.116 像素。
• 在运动模糊条件下，Deep ChArUco 实现 80.3% 的准确率，平均重投影误差为 1.347 像素，显著优于 OpenCV 的 31.1% 准确率与 0.160 像素误差。
• RefineNet 在除运动模糊外的所有情况下均降低了重投影误差，其中在低光照条件下改善最为显著（例如，0.3 lux 时从 0.858 像素降至 0.427 像素）。
• 系统可实现实时运行，在 GTX 1080 GPU 上处理 320×240 图像时帧率超过 30 FPS，使用 RefineNet 时推理时间为 98.6 ms。
• 自动标注视频与合成亚像素数据的结合，使无需大量手动标注即可实现高性能训练，验证了该数据流水线的有效性。