[논문 리뷰] TAX-Pose: Task-Specific Cross-Pose Estimation for Robot Manipulation

Chuer Pan, Brian Okorn외 3명|arXiv (Cornell University)|2022. 11. 17.

Robot Manipulation and Learning인용 수 4

한 줄 요약

TAX-Pose는 시각 기반 방법을 통해 로봇 조작에서 작업 특화의 교차 포즈 추정을 제안하며, 서로 상호작용하는 물체 부위 간의 상대 포즈(예: 패닉이 오븐 안에 있을 때)를 교차 물체 대응 관계를 통해 학습한다. 이는 최소 10개의 실제 시연만으로도 새로운 물체에 대해 최신 기술 수준의 일반화 성능를 달성하며, 작업 특화 포즈 관계를 학습 가능한 이식 가능한 개념으로 모델링함으로써 가능해진다.

ABSTRACT

How do we imbue robots with the ability to efficiently manipulate unseen objects and transfer relevant skills based on demonstrations? End-to-end learning methods often fail to generalize to novel objects or unseen configurations. Instead, we focus on the task-specific pose relationship between relevant parts of interacting objects. We conjecture that this relationship is a generalizable notion of a manipulation task that can transfer to new objects in the same category; examples include the relationship between the pose of a pan relative to an oven or the pose of a mug relative to a mug rack. We call this task-specific pose relationship "cross-pose" and provide a mathematical definition of this concept. We propose a vision-based system that learns to estimate the cross-pose between two objects for a given manipulation task using learned cross-object correspondences. The estimated cross-pose is then used to guide a downstream motion planner to manipulate the objects into the desired pose relationship (placing a pan into the oven or the mug onto the mug rack). We demonstrate our method's capability to generalize to unseen objects, in some cases after training on only 10 demonstrations in the real world. Results show that our system achieves state-of-the-art performance in both simulated and real-world experiments across a number of tasks. Supplementary information and videos can be found at https://sites.google.com/view/tax-pose/home.

연구 동기 및 목표

• 동일 카테고리의 새로운 물체에 대해 로봇이 조작 기술을 일반화할 수 있도록 하는 것.
• 개별 물체의 포즈를 초월해 일반화 가능한 작업 특화 물체 상호작용 표현을 식별하는 것.
• 소수의 실제 예시에서 학습함으로써 광범위한 시연에 의존하는 것을 줄이는 것.
• 상호작용하는 물체 부위 간의 상대 포즈를 추정함으로써 후속 동작 계획을 향상시키는 것.
• 조작 작업에서 zero-shot 일반화를 위해 교차 포즈를 이식 가능한 개념으로 설정하는 것.

제안 방법

• 이 방법은 '교차 포즈'를 서로 상호작용하는 두 물체 부위 간의 상대 포즈로 정의한다. 예를 들어, 머그컵이 머그랙에 대해 위치하는 상황이다.
• RGB 이미지에서 학습된 딥 네트워크를 사용하여 서로 다른 물체의 부위 간의 교차 물체 대응 관계를 학습한다.
• 가능한 렌더링 모듈이 예측된 대응 관계와 이미지 특징에서 교차 포즈를 추정한다.
• 시스템은 두 단계 파이프라인을 사용한다: 대응 관계 예측 → 미분 가능한 교차 포즈 회귀.
• 학습된 교차 포즈는 목표 상호작용 구성으로 도달하기 위해 동작 계획기를 안내하는 데 사용된다.
• 이 접근법은 최소한의 감독 하에 실제 시연 데이터로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 작업 특화 상대 포즈 표현은 동일 카테고리의 새로운 물체에 대해 일반화될 수 있는가?
• RQ2 소수의 실제 시연에서 시각 기반 시스템이 교차 포즈를 얼마나 정확하게 추정할 수 있는가?
• RQ3 교차 포즈를 학습 가능한 이식 가능한 개념으로 모델링하면 조작 작업에서 zero-shot 일반화가 향상되는가?
• RQ4 최소한의 튜닝으로도 시뮬레이션 및 실제 환경 설정에서 높은 정확도를 달성할 수 있는가?
• RQ5 새로운 물체 상황에서 교차 포즈 추정 성능이 기준 방법 대비 어떻게 비교되는가?

주요 결과

• 이 방법은 시뮬레이션 및 실제 환경 조작 작업에서 최신 기술 수준의 성능를 달성한다.
• 실제 시연 10회만으로도 새로운 물체에 대해 일반화된다.
• 학습된 교차 포즈 관계가 동일 카테고리의 새로운 물체(예: 머그랙에 다른 머그컵을 놓는 것)로 성공적으로 이식된다.
• 교차 포즈 표현 덕분에 물체의 정체성이나 외관이 달라져도 정확한 동작 계획이 가능해진다.
• 다양한 물체 형태와 구성이 혼재된 복잡한 환경에서도 뛰어난 내구성을 보였다.
• 보조 영상 및 결과는 패닉-오븐 및 머그컵-랙 시나리오를 포함한 여러 작업 카테고리에서 일관된 성능를 확인한다.