[论文解读] All You Need is LUV: Unsupervised Collection of Labeled Images using Invisible UV Fluorescent Indicators

Brijen Thananjeyan, Justin Kerr+3 more|arXiv (Cornell University)|Mar 9, 2022

Robot Manipulation and Learning被引用 5

一句话总结

本文提出LUV，一种低成本、无监督的方法，通过使用不可见的紫外荧光标记和成对的可见光/紫外光成像，实现真实世界中带标注图像的采集。通过利用紫外反光漆和自动颜色分割，LUV实现的数据采集速度比人工标注快180至2,500倍，生成的语义分割掩码和关键点在未涂漆物体上具有高泛化能力，且在机器人操作任务（包括折叠毛巾和针头位姿估计）中得到验证。

ABSTRACT

Large-scale semantic image annotation is a significant challenge for learning-based perception systems in robotics. Current approaches often rely on human labelers, which can be expensive, or simulation data, which can visually or physically differ from real data. This paper proposes Labels from UltraViolet (LUV), a novel framework that enables rapid, labeled data collection in real manipulation environments without human labeling. LUV uses transparent, ultraviolet-fluorescent paint with programmable ultraviolet LEDs to collect paired images of a scene in standard lighting and UV lighting to autonomously extract segmentation masks and keypoints via color segmentation. We apply LUV to a suite of diverse robot perception tasks to evaluate its labeling quality, flexibility, and data collection rate. Results suggest that LUV is 180-2500 times faster than a human labeler across the tasks. We show that LUV provides labels consistent with human annotations on unpainted test images. The networks trained on these labels are used to smooth and fold crumpled towels with 83% success rate and achieve 1.7mm position error with respect to human labels on a surgical needle pose estimation task. The low cost of LUV makes it ideal as a lightweight replacement for human labeling systems, with the one-time setup costs at $300 equivalent to the cost of collecting around 200 semantic segmentation labels on Amazon Mechanical Turk. Code, datasets, visualizations, and supplementary material can be found at https://sites.google.com/berkeley.edu/luv

研究动机与目标

• 解决机器人感知任务中人工标注数据集成本高、效率低的问题。
• 通过实现无需人工监督的真实世界数据采集，克服仿真到现实的泛化差距。
• 开发一种可扩展、低成本的框架，用于在真实操作环境中获取精确的语义分割掩码和关键点标注。
• 为复杂、视觉挑战性任务（如形变物体操作和手术器械分割）提供快速、可重复的数据采集方法。
• 证明LUV生成的标注在未涂漆的真实世界测试图像上具有良好的泛化能力，性能接近人工标注基线。

提出的方法

• 使用透明、紫外荧光涂料在场景中的物体或关键点上做标记，使其在普通光照下几乎不可见。
• 采集成对图像：一种在标准可见光照明下拍摄，另一种在紫外光照明下拍摄以显现荧光标记。
• 对紫外图像应用基于颜色的分割，自动提取精确的分割掩码和关键点位置。
• 使用从紫外图像中自动提取的标签训练深度学习分割网络，以在标准可见光图像上预测掩码。
• 利用现成组件（紫外LED、标准RGB相机）构建低成本（300美元）且易于复现的系统。
• 通过使用非反光、透明的紫外涂料确保标注的一致性和不可见性，避免改变物体在正常光照下的视觉外观。

实验结果

研究问题

• RQ1 紫外荧光标记能否实现几乎完全无监督的真实世界语义分割数据采集，且人工干预极少？
• RQ2 LUV生成的标注质量与人工标注相比，在交并比（IoU）和下游任务性能方面如何？
• RQ3 在复杂操作任务中，使用LUV标注训练的模型在未涂漆的真实世界测试图像上的泛化能力有多强？
• RQ4 在多种机器人感知任务中，LUV的数据采集速度与人工标注相比如何？
• RQ5 LUV标注能否支持高精度任务（如3D针头位姿估计）并实现亚毫米级精度？

主要发现

• 与人工标注相比，LUV将数据采集时间减少了180至2,511倍，完整电缆数据集标注仅耗时87秒，而人工标注需约60小时。
• 在训练图像上，LUV生成的掩码与人工标注掩码的平均交并比（IoU）为0.683，表明标注具有一致性。
• 在未涂漆的测试图像上，使用LUV标注训练的模型在电缆任务上达到0.755的平均IoU，在针头任务上达到0.666，表明对真实世界未涂漆物体具有强泛化能力。
• 在毛巾折叠任务中，系统利用LUV标注提取的角点检测实现83%的成功率，表明其在真实机器人控制中的功能性。
• 在手术针头位姿估计任务中，基于LUV的预测与人工标注位姿之间的平均位置误差为1.7毫米，旋转误差为8.8°，表明在细粒度任务中具有高精度。
• LUV系统共采集了3,640张带标注的织物图像、486张电缆图像和1,364张针头图像，所有数据集均已公开，以支持可复现性和进一步研究。