[논문 리뷰] Dense Object Nets: Learning Dense Visual Object Descriptors By and For Robotic Manipulation

Pete Florence, Lucas Manuelli외 1명|arXiv (Cornell University)|2018. 06. 22.

Robot Manipulation and Learning참고 문헌 32인용 수 99

한 줄 요약

Dense Object Nets는 자기지도 방식으로 픽셀단위의 Dense Visual Descriptors를 학습하여 강체 및 비강체 객체 전반에 걸친 조작을 지원하고, 다중 객체 및 클래스 일반화 기능을 갖추어 특정 지점의 그립과 인스턴스/클래스 간 전달을 가능하게 한다.

ABSTRACT

What is the right object representation for manipulation? We would like robots to visually perceive scenes and learn an understanding of the objects in them that (i) is task-agnostic and can be used as a building block for a variety of manipulation tasks, (ii) is generally applicable to both rigid and non-rigid objects, (iii) takes advantage of the strong priors provided by 3D vision, and (iv) is entirely learned from self-supervision. This is hard to achieve with previous methods: much recent work in grasping does not extend to grasping specific objects or other tasks, whereas task-specific learning may require many trials to generalize well across object configurations or other tasks. In this paper we present Dense Object Nets, which build on recent developments in self-supervised dense descriptor learning, as a consistent object representation for visual understanding and manipulation. We demonstrate they can be trained quickly (approximately 20 minutes) for a wide variety of previously unseen and potentially non-rigid objects. We additionally present novel contributions to enable multi-object descriptor learning, and show that by modifying our training procedure, we can either acquire descriptors which generalize across classes of objects, or descriptors that are distinct for each object instance. Finally, we demonstrate the novel application of learned dense descriptors to robotic manipulation. We demonstrate grasping of specific points on an object across potentially deformed object configurations, and demonstrate using class general descriptors to transfer specific grasps across objects in a class.

연구 동기 및 목표

• Manipulation에 대해 작업-독립적이고 강체 및 비강체 객체에 적용 가능한 자기지도(Dense) 시각적 디스크립터 표현을 개발한다.
• 미지의 객체 및 객체 클래스에 대해 Dense Descriptors의 빠른 학습(≈20 minutes)을 가능하게 한다.
• 다중 객체에 대해 Distinct Descriptors를 갖고 클래스 간으로 일반화되거나 인스턴스-특이성을 유지하는 기술을 만든다.
• 학습된 Dense Descriptors를 사용하여 객체의 특정 지점을 파악하고 인스턴스나 클래스 간 그립을 전달하는 조작 작업을 시연한다.

제안 방법

• RGB 이미지를 W×H×D 디스크립터 공간으로 매핑하는 디스크립터 매핑 f를 학습시키기 위해 Dense 픽셀단위 대비 손실을 사용한다.
• RGBD 비디오에서 3D Dense 재구성을 통해 매치와 비매치를 구성하여 사람의 라벨 없이도 Self-supervised 학습이 가능하게 한다.
• 3D 변화 탐지를 통해 도출된 객체 중심 마스킹을 적용하여 트레이닝을 객체에 집중시키고 배경은 무시한다.
• Cross-Scene 일관성과 디스크립터 정밀도를 향상시키기 위해 Background Domain Randomization과 Hard-Negative Scaling을 도입한다.
• Cross-Object 손실, 직접적인 다중 객체 내 현장 학습, 합성 다중 객체 신(scene) 구성을 통해 다중 객체 Dense Descriptors로 확장한다.

실험 결과

연구 질문

• RQ1 Self-supervision으로 학습된 Dense Pixelwise Descriptors가 시점 변화와 변형에도 걸쳐 일관된 객체 표현을 제공하는가?
• RQ2 다중 객체 및 클래스 일반화를 인스턴스-특이성 정밀도를 해치지 않으면서 어떻게 달성할 수 있는가?
• RQ3 학습된 Dense Descriptors가 특정 지점 그리기와 같은 조작 작업이나 구성을 넘나들며 인스턴스나 클래스 간 그립 전달을 얼마나 가능하게 하는가?

주요 결과

• 디스크립터는 저 텍스처 객체를 포함한 다양한 객체에 대해 상당한 변형에서도 일관성을 유지한다.
• Cross-object 손실과 더 큰 디스크립터 공간은 여러 객체에 대해 서로 다른 디스크립터 영역을 가능하게 하면서도 성능 저하를 피한다.
• 디스크립터는 클래스 간 일반화(모자, 신발, 머그컵 등)가 가능하고 같은 클래스 내의 미지의 인스턴스에 대해 그립을 전달할 수 있다.
• Distinct-object 기법은 잡음이 많은 환경에서도 여러 객체 구성에서 객체의 특정 지점을 파지할 수 있도록 한다.
• Backgound Domain Randomization 및 Orientation Randomization은 특히 작은 데이터셋에서 디스크립터 강인성을 향상시킨다.