[논문 리뷰] RT-Trajectory: Robotic Task Generalization via Hindsight Trajectory Sketches

Jiayuan Gu, Sean Kirmani외 15명|arXiv (Cornell University)|2023. 11. 03.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

RT-Trajectory는 새로운 정책 조건화 방법을 제안하며, 캠코더의 시야 범위 내에 투영된 굵은 2D 궤적 스케치를 사용하여 훈련 중에 볼 수 없었던 로봇 조작 작업에 대해 강건한 일반화를 가능하게 한다. 후회 기반으로 생성된 궤적 스케치를 훈련 데이터로 사용함으로써, 이 방법은 훈련 중에 볼 수 없었던 작업에서 67%의 성공률를 달성한다—언어나 목표 조건화 기반의 기존 방법들(26%)보다 뚜렷하게 뛰어나며, 운동 중심의 인간이 이해할 수 있는 작업 기술 기반의 조건화를 통해 일반화 능력이 향상됨을 보여준다.

ABSTRACT

Generalization remains one of the most important desiderata for robust robot learning systems. While recently proposed approaches show promise in generalization to novel objects, semantic concepts, or visual distribution shifts, generalization to new tasks remains challenging. For example, a language-conditioned policy trained on pick-and-place tasks will not be able to generalize to a folding task, even if the arm trajectory of folding is similar to pick-and-place. Our key insight is that this kind of generalization becomes feasible if we represent the task through rough trajectory sketches. We propose a policy conditioning method using such rough trajectory sketches, which we call RT-Trajectory, that is practical, easy to specify, and allows the policy to effectively perform new tasks that would otherwise be challenging to perform. We find that trajectory sketches strike a balance between being detailed enough to express low-level motion-centric guidance while being coarse enough to allow the learned policy to interpret the trajectory sketch in the context of situational visual observations. In addition, we show how trajectory sketches can provide a useful interface to communicate with robotic policies: they can be specified through simple human inputs like drawings or videos, or through automated methods such as modern image-generating or waypoint-generating methods. We evaluate RT-Trajectory at scale on a variety of real-world robotic tasks, and find that RT-Trajectory is able to perform a wider range of tasks compared to language-conditioned and goal-conditioned policies, when provided the same training data.

연구 동기 및 목표

• 훈련 중에 볼 수 없었던 새로운 조작 작업에 대해 로봇 정책의 일반화 문제를 해결한다.
• 운동 패턴은 유사하지만 작업 의미가 다를 경우 언어나 목표 조건화 방식이 일반화에 실패하는 한계를 극복한다.
• 저수준의 운동 제어를 위한 표현력을 유지하면서도 실용적이고 인간이 이해할 수 있는 작업 기술 기반 인터페이스를 개발한다.
• 궤적 스케치를 조건 신호로 사용하여 볼 수 있었던 운동 간의 보간과 새로운 운동으로의 일반화를 가능하게 한다.

제안 방법

• 캘리브레이션된 카메라 설정을 전제로, 카메라의 시야 범위 내에 투영된 2D 종단기구 궤적을 작업 조건 신호로 사용한다.
• 수동 레이블링 없이도 시연 데이터에서 후회 기반 궤적 레이블을 자동으로 추출하여 스케일이 가능한 데이터 수집을 가능하게 한다.
• 이러한 궤적 스케치를 기반으로 사전 훈련된 RT-1 정책을 조건화하여 엔드 투 엔드 정책 학습을 유도한다.
• 사람이 그린 스케치, 영상, 또는 기초 모델(예: 이미지 생성기 또는 웨이포인트 예측기)을 통해 작업 기술을 기술할 수 있도록 지원한다.
• 궤적을 곡선(종단기구 운동)과 원형(그립퍼 상태)으로 표현하여 시각적 해석 가능성과 운동 유사도 매칭을 가능하게 한다.
• Fréchet 거리와 궤적 정렬을 통해 운동 유사도를 활용하여 일반화 능력을 평가하고, 쿼리 궤적을 가장 유사한 훈련 궤적과 비교한다.

실험 결과

연구 질문

• RQ1 粗안 2D 궤적 스케치가 언어나 목표 이미지 이외의 맥락에서도 효과적이고 일반화 가능한 조건 신호로 기능할 수 있는가?
• RQ2 운동 패턴은 유사하지만 의미적 레이블이 다른 새로운 조작 작업에 대해 궤적 스케치 조건화 정책이 얼마나 잘 일반화되는가?
• RQ3 언어나 목표 조건화 방식과 비교해 볼 때, 궤적 스케치 조건화 정책은 훈련 중에 볼 수 없었던 작업에서 성공률와 내구성 측면에서 어떤가?
• RQ4 운동 유사도와 공간 정렬(예: 첫 상호작용의 z-높이)은 새로운 스킬로의 일반화를 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 궤적 스케치는 실제 환경에서 인간-로봇 작업 기술 기술을 위한 실용적이고 직관적인 인터페이스로 사용될 수 있는가?

주요 결과

• RT-Trajectory는 7개의 훈련 중에 볼 수 없었던 조작 작업에서 67%의 성공률를 달성하였으며, 언어나 목표 조건화를 사용하는 기존 최고의 방법(26%)보다 뚜렷하게 뛰어나다.
• 이 방법은 훈련 데이터와 의미적 레이블이나 언어 기술이 다를 경우에도 새로운 운동으로의 일반화를 효과적으로 수행함을 보여주며, 운동 기반의 일반화가 가능함을 시사한다.
• 궤적 스케치를 사용할 경우 언어 기반 조건화보다 더 나은 일반화 성능을 보이며, 언어로 표현할 수 없는 운동 유사성을 포착하기 때문이다.
• 평가 결과, 훈련 중에 볼 수 없었던 작업의 궤적은 가장 유사한 훈련 궤적과 비교해 큰 Fréchet 거리와 의미적 불일치를 보이며, 운동 중심의 조건화의 필요성을 확인한다.
• 첫 상호작용 높이 정렬 분석에서 쿼리 궤적과 가장 유사한 훈련 궤적 간에 뚜렷한 변동성이 확인되어, 일반화에 있어 정밀한 공간 제어의 중요성을 강조한다.
• 이 방법은 스케치, 영상, 또는 기초 모델을 통해 실용적이고 직관적인 인간-로봇 상호작용을 가능하게 하며, 확장 가능한 작업 기술 기술 인터페이스를 제공한다.