[논문 리뷰] All You Need is LUV: Unsupervised Collection of Labeled Images using Invisible UV Fluorescent Indicators

Brijen Thananjeyan, Justin Kerr외 3명|arXiv (Cornell University)|2022. 03. 09.

Robot Manipulation and Learning인용 수 5

한 줄 요약

이 논문은 투명한 자외선-형광성 페인트와 쌍방향 가시광선/자외선 촬영을 이용해 실세계의 레이블이 부여된 이미지를 비감시적으로 수집하는 저비용의 방법인 LUV를 소개한다. 자외선 반사 페인트와 자동 색상 분할 기법을 활용함으로써 LUV는 인간 레이블링 대비 180~2,500배 빠른 데이터 수집을 달성하며, 세분화 마스크와 관건점을 생성한다. 이는 페인팅되지 않은 물체로도 높은 정확도로 일반화되며, Towel folding 및 바늘 자세 추정과 같은 로봇 조작 작업에서 검증되었다.

ABSTRACT

Large-scale semantic image annotation is a significant challenge for learning-based perception systems in robotics. Current approaches often rely on human labelers, which can be expensive, or simulation data, which can visually or physically differ from real data. This paper proposes Labels from UltraViolet (LUV), a novel framework that enables rapid, labeled data collection in real manipulation environments without human labeling. LUV uses transparent, ultraviolet-fluorescent paint with programmable ultraviolet LEDs to collect paired images of a scene in standard lighting and UV lighting to autonomously extract segmentation masks and keypoints via color segmentation. We apply LUV to a suite of diverse robot perception tasks to evaluate its labeling quality, flexibility, and data collection rate. Results suggest that LUV is 180-2500 times faster than a human labeler across the tasks. We show that LUV provides labels consistent with human annotations on unpainted test images. The networks trained on these labels are used to smooth and fold crumpled towels with 83% success rate and achieve 1.7mm position error with respect to human labels on a surgical needle pose estimation task. The low cost of LUV makes it ideal as a lightweight replacement for human labeling systems, with the one-time setup costs at $300 equivalent to the cost of collecting around 200 semantic segmentation labels on Amazon Mechanical Turk. Code, datasets, visualizations, and supplementary material can be found at https://sites.google.com/berkeley.edu/luv

연구 동기 및 목표

• 로봇 인식 작업을 위한 인간 레이블링 데이터셋의 높은 비용과 비효율성을 해결하기 위해.
• 실세계 데이터 수집을 인간의 감독 없이도 가능하게 하여 시뮬레이션에서 실세계로의 일반화 격차를 극복하기 위해.
• 실조작 환경에서 정확한 세분화 마스크와 관건점 레이블을 확보하기 위한 확장 가능한 저비용 프레임워크를 개발하기 위해.
• 변형 가능한 물체 조작 및 수술 기구 세분화와 같은 복잡하고 시각적으로 도전적인 작업을 위한 신속하고 반복 가능한 데이터 수집을 가능하게 하기 위해.
• LUV가 생성한 레이블이 페인팅되지 않은 실세계 테스트 이미지로도 잘 일반화되어 인간 레이블링 기준선 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 물체나 관건점을 장면에 투명하고 자외선-형광성 페인트로 표시하여 일반 조명 조건에서 거의 보이지 않게 한다.
• 표준 가시광선 조명 조건과 자외선 조명 조건에서 각각 쌍방향 이미지를 촬영한다.
• 자외선 이미지에 색상 기반 분할을 적용하여 정밀한 세분화 마스크와 관건점 위치를 자동으로 추출한다.
• 자외선 이미지에서 자동으로 추출된 레이블을 사용해 딥 러닝 세분화 네트워크를 훈련시켜 표준 가시광선 이미지에서 마스크를 예측한다.
• 자외선 LED와 표준 RGB 카메라와 같은 상용 부품을 활용해 저비용($300)이며 쉽게 복제 가능한 시스템을 구축한다.
• 비반사성 투명 자외선 페인트를 사용해 레이블링 일관성과 투명성을 확보하여 일반 조명 조건에서 물체의 외관을 변경하지 않는다.

실험 결과

연구 질문

• RQ1 자외선-형광성 마킹을 통해 인간의 간섭 최소화로 비감시적 실세계 세분화를 위한 데이터 수집이 가능한가?
• RQ2 LUV가 생성한 레이블의 품질이 교차 오버랩 지수(IoU) 및 후속 작업 성능 측면에서 인간 레이블링 레이블과 비교해 어떻게 되는가?
• RQ3 LUV 레이블로 훈련된 모델이 복잡한 조작 작업에서 페인팅되지 않은 실세계 테스트 이미지로 얼마나 잘 일반화되는가?
• RQ4 LUV의 데이터 수집 속도는 다양한 로봇 인식 작업에서 인간 레이블링과 비교해 어떻게 되는가?
• RQ5 LUV 레이블은 1밀리미터 이내 정밀도를 요구하는 고정밀 작업, 예를 들어 3D 바늘 자세 추정에 적합한가?

주요 결과

• LUV는 인간 레이블링 대비 데이터 수집 시간을 180배에서 2,511배까지 단축시켰으며, 전체 케이블 데이터셋 레이블링은 단 87초에 완료되었고, 수작업으로는 약 60시간이 소요되었다.
• LUV가 생성한 마스크와 인간 레이블링 마스크 간의 평균 교차 오버랩 지수(IoU)는 훈련 이미지에서 0.683으로, 강력한 레이블 일관성을 보였다.
• 페인팅되지 않은 테스트 이미지에서 LUV 레이블로 훈련된 모델은 평균 IoU가 케이블 기준 0.755, 바늘 기준 0.666를 기록하여 실세계의 페인팅되지 않은 물체로도 강력한 일반화 능력을 입증했다.
• 수건 접기 작업에서 LUV 레이블의 역할점 검출을 활용한 시스템은 83%의 성공률을 달성하여 실제 로봇 제어에서의 기능적 유용성을 입증했다.
• 수술 바늘 자세 추정 작업에서는 LUV 기반 예측과 인간 레이블링 자세 간 평균 위치 오차가 1.7mm, 회전 오차가 8.8°로 나타나 미세한 작업에서 높은 정확도를 보였다.
• LUV 시스템은 3,640장의 레이블이 부여된 천 이미지, 486장의 케이블 이미지, 1,364장의 바늘 이미지를 수집하였으며, 모든 데이터셋은 재현성 및 향후 연구를 위해 공개되었다.