[논문 리뷰] Silver-Bullet-3D at ManiSkill 2021: Learning-from-Demonstrations and Heuristic Rule-based Methods for Object Manipulation

Yingwei Pan, Yehao Li외 6명|arXiv (Cornell University)|2022. 06. 13.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 SAPIEN ManiSkill 2021 챌린지에서 로봇 조작을 위한 하이브리드 접근법인 Silver-Bullet-3D를 제안한다. 이는 시범 학습과 Transformer 기반 아키텍처를 활용한 시범 기반 정책 학습을 결합하고, 복잡한 작업 분해를 위한 히우리스틱 규칙 기반 방법(HRM)을 도입한다. HRM는 규칙 기반 제어를 통해 작업을 하위 작업으로 분해하여 최종 스코어 0.928을 기록했으며, 이는 2위 팀 대비 23.8% 높은 성능이었다. 반면 시범 학습 시스템은 3단계 네트워크를 통해 기하학적 및 질감 특징을 추출하고 Decision Transformer를 활용해 시간적 의존성을 모델링하여, 온라인 상호작용 없이도 No Interaction Track에서 뛰어난 성능을 보였다.

ABSTRACT

This paper presents an overview and comparative analysis of our systems designed for the following two tracks in SAPIEN ManiSkill Challenge 2021: No Interaction Track: The No Interaction track targets for learning policies from pre-collected demonstration trajectories. We investigate both imitation learning-based approach, i.e., imitating the observed behavior using classical supervised learning techniques, and offline reinforcement learning-based approaches, for this track. Moreover, the geometry and texture structures of objects and robotic arms are exploited via Transformer-based networks to facilitate imitation learning. No Restriction Track: In this track, we design a Heuristic Rule-based Method (HRM) to trigger high-quality object manipulation by decomposing the task into a series of sub-tasks. For each sub-task, the simple rule-based controlling strategies are adopted to predict actions that can be applied to robotic arms. To ease the implementations of our systems, all the source codes and pre-trained models are available at \url{https://github.com/caiqi/Silver-Bullet-3D/}.

연구 동기 및 목표

• 복잡한 실제와 유사한 시뮬레이션 환경에서 사전 수집된 3D 시범 트레이젝터리로부터 강건하고 일반화 가능한 조작 정책을 개발하기 위해.
• 시각적 조작 작업에서 다중 자유도 로봇 제어와 다양한 3D 물체 형태의 과제를 해결하기 위해.
• 온라인 상호작용 없이도 시범 학습과 오프라인 강화 학습을 활용한 정책 학습의 효과를 탐색하기 위해.
• 작업을 순차적 하위 작업으로 분해함으로써 확장 가능하고 해석 가능한 히우리스틱 규칙 기반 시스템을 설계하기 위해.
• No Interaction Track와 No Restriction Track 양쪽에서 SAPIEN ManiSkill 2021 챌린지에서 최고 성능을 달성하기 위해.

제안 방법

• 3단계 네트워크 아키텍처를 설계하여 3D 관측치에서 점 수준, 부위 수준, 작업 수준의 특징을 추출하였으며, 기하학적, 질감적, 로봇 상태 정보를 통합하였다.
• 기하학적 특징은 점과 로봇 팔 부위(예: 손가락 및 중심 위치) 간의 상대적 거리로 계산되었으며, 연결 및 MLP를 통해 인코딩되었다.
• 부위 수준의 특징은 제공된 마스크를 기반으로 점을 그룹화하고, 부위 전용 MLP에 대해 평균 풀링을 적용하여 학습되었다.
• 작업 수준의 특징은 부위 특징을 기반으로 Transformer 인코더를 통해 상호 부위 관계를 모델링한 후, 액션 예측을 위한 MLP를 적용하였다.
• 시간적 의존성을 모델링하기 위해 시범 시퀀스에 Decision Transformer(DT)를 적용하여 조작을 순차 모델링 문제로 간주하였다.
• No Restriction Track에서는 히우리스틱 규칙 기반 방법(HRM)이 MoveTo, MoveSteps, grasp 등의 하위 작업으로 작업을 분해하였으며, 팔 제어를 위한 안정화 기법을 적용하였다.

실험 결과

연구 질문

• RQ1 Transformer 기반 아키텍처가 3D 포인트 클라우드에서 기하학적 및 질감 특징을 효과적으로 모델링하여 로봇 조작의 시범 학습 성능을 향상시킬 수 있는가?
• RQ2 Decision Transformer의 통합이 표준 시범 학습 대비 오프라인 시범 시퀀스에서 정책 학습을 어떻게 향상시키는가?
• RQ3 규칙 기반의 하위 작업 분해 전략은 데이터 학습 없이도 복잡한 조작 과제에서 뛰어난 일반화 및 강건성을 달성할 수 있는가?
• RQ4 어려운 물리 기반 3D 환경에서 데이터 학습 기반 방법과 히우리스틱 규칙 기반 시스템 간의 성능 격차는 무엇인가?
• RQ5 기하학적 및 시각적 특징은 다양한 물체 형태와 조작 과제 간의 정책 일반화에 어떻게 기여하는가?

주요 결과

• 히우리스틱 규칙 기반 방법(HRM)은 No Restriction Track에서 최종 랭킹 스코어 0.928을 기록했으며, 이는 2위 팀 대비 23.8% 높은 성능이었다.
• HRM는 비데이터 의존적 설계 덕분에 훈련 세트와 테스트 세트 간 성능 저하가 최소화된 강력한 제로샷 일반화 성능을 보였다.
• 3단계 네트워크와 Decision Transformer를 활용한 시범 학습 시스템은 기하학적 및 질감 특징을 활용하여 정책 학습 성능을 향상시켜 No Interaction Track에서 높은 성능을 기록했다.
• 상대적 기하학적 특징(예: 점-손가락 및 점-중심 거리)의 사용이 조작 과제의 특징 표현을 크게 향상시켰다.
• 기하학적, 질감적, 로봇 상태 특징을 다단계 네트워크를 통해 통합함으로써 기존 기준 방법 대비 액션 예측 정확도가 향상되었다.
• 최종 시스템은 OpenCabinetDoor, OpenCabinetDrawer, MoveBucket, PushChair 등의 다양한 과제에서 뛰어난 성공률을 보이며, 훈련 및 테스트 세트 모두에서 강건성을 입증했다.