[논문 리뷰] Task-sequencing Simulator: Integrated Machine Learning to Execution Simulation for Robot Manipulation

Kazuhiro Sasabuchi, Daichi Saito외 4명|arXiv (Cornell University)|2023. 01. 03.

Scientific Computing and Data Management인용 수 5

한 줄 요약

이 논문은 다단계 작업 시퀀스를 구조화하기 위해 학습 가능한 가역 개념 모델을 사용하여 기계 학습을 통한 정책 훈련과 로봇 조작을 위한 실행 시뮬레이션을 통합하는 작업 순서 시뮬레이터를 소개한다. 이 시뮬레이터에서는 프로그래밍된 블록과 학습된 블록을 모두 상호 교환 가능한 구성 요소로 간주함으로써 시뮬레이션 훈련에서 실제 실행으로의 원활한 전환을 가능하게 하여, 추가적인 실제 세계 데이터 수집 없이도 시뮬레이션에서 실제 세계로의 전이를 달성한다.

ABSTRACT

A task-sequencing simulator in robotics manipulation to integrate simulation-for-learning and simulation-for-execution is introduced. Unlike existing machine-learning simulation where a non-decomposed simulation is used to simulate a training scenario, the task-sequencing simulator runs a composed simulation using building blocks. This way, the simulation-for-learning is structured similarly to a multi-step simulation-for-execution. To compose both learning and execution scenarios, a unified trainable-and-composable description of blocks called a concept model is proposed and used. Using the simulator design and concept models, a reusable simulator for learning different tasks, a common-ground system for learning-to-execution, simulation-to-real is achieved and shown.

연구 동기 및 목표

• 다단계 로봇 조작 작업에서 학습을 위한 시뮬레이션과 실행을 위한 시뮬레이션 간 격차를 해소한다.
• 로봇 분야에서 분해되지 않은 훈련용 시뮬레이터와 조합된 실행용 시뮬레이터 간의 구조적 불일치 문제를 해결한다.
• 재사용 가능하고 가역적인 정책을 가능하게 하여, 다양한 작업 시퀀스 간에 재훈련 없이도 조합할 수 있도록 한다.
• 정책 훈련에서 필요한(관측 가능한) 목표 상태와 충분한(암묵적인) 목표 상태를 분리하여 시뮬레이션에서 실제 세계로의 도메인 이탈을 최소화한다.
• 통합된, 학습 가능한, 가역적인 블록 추상화인 개념 모델을 사용하여 계층적 학습과 실행 조합을 지원한다.

제안 방법

• 모듈러 빌딩 블록(작업)을 순서대로 조합하여 실질적인 로봇 실행 워크플로우를 반영하는 작업 순서 시뮬레이터를 설계한다.
• 작업 블록의 상태, 동작, 목표 정의를 모두 캡슐화하는 통합적이고 학습 가능하며 가역적인 개념 모델을 도입한다.
• 작업 시퀀스를 원자 단위의 단계(예: 쟁반 잡기, 들어올리기, 옮기기 등)로 분해하고, 각 단계를 구성 가능한 파rameter를 가진 개념 모델로 표현한다.
• 개념 모델을 사용하여 프로그래밍된 블록, 훈련 중인 블록(학습 중), 완전히 훈련된 블록을 혼합 실행할 수 있도록 지원한다.
• 실제 세계에서 관측 가능한 필수 목표 상태와 시뮬레이션에서 암묵적으로 학습된 충분한 목표 상태를 분리하여 시뮬레이션에서 실제 세계로의 격차를 줄인다.
• 동일한 정책 연결을 재사용하고 시뮬레이션 엔진을 ROS 호환 형식으로 전환함으로써, 시뮬레이션에서 실제 로봇으로의 정책 전이를 가능하게 한다.

Figure 1: The proposed task-sequencing simulator which enables scenario composition for both learning and execution in robotics manipulation.

실험 결과

연구 질문

• RQ1 학습을 위한 시뮬레이션과 실제 로봇 실행을 동시에 지원하는 통합적이고 가역적인 프레임워크에서 시뮬레이터를 어떻게 설계할 수 있는가?
• RQ2 한 번의 시뮬레이션 훈련에서 학습된 단일 재사용 가능한 정책이 재훈련 없이도 다양한 실행 시퀀스에 직접 적용될 수 있는가?
• RQ3 어떤 아키텍처 설계가 최소한의 시뮬레이션-실제 세계 도메인 이탈로 시뮬레이션 기반 학습에서 실제 세계 실행으로의 원활한 전이를 가능하게 하는가?
• RQ4 작업 시퀀스를 어떻게 시뮬레이션에서 구성할 수 있는가? 이는 실제 로봇 실행에서 사용하는 동일한 조합 논리와 반영되어야 한다.
• RQ5 암묵적인 목표 상태(sufficient goals)가 정책 배포 시 정확한 실제 세계 관측을 줄이는데 얼마나 기여할 수 있는가?

주요 결과

• 작업 순서 시뮬레이터는 동일한 가역적 작업 순서 파라다임을 사용하여 학습을 위한 시뮬레이션과 실행을 위한 시뮬레이션을 성공적으로 통합하였다.
• 예를 들어, 쟁반 잡기-들어올리기-옮기기와 같은 한 시퀀스에서 훈련된 정책가 다른 실행 시나리오(예: 던지기)로 재구성된 개념 모델을 통해 직접 재사용되었으며, 이는 매우 높은 재사용성을 보여주었다.
• 시뮬레이션에서 학습된 동일한 정책를 사용하여 실제 로봇 실행을 성공적으로 수행하였으며, 추가적인 실제 세계 데이터 수집 없이도 효과적인 시뮬레이션-실제 세계 전이가 확인되었다.
• 개념 모델 설계에서 필요한 목표 상태와 충분한 목표 상태를 분리함으로써 시뮬레이션-실제 세계 격차가 감소하였으며, 실제 세계 배포에 필요한 것은 관측 가능한 동역학뿐이었다.
• 개념 모델은 계층적 학습과 실행 조합을 가능하게 하여, 전체 시퀀스를 다시 훈련하지 않고도 기존에 훈련된 또는 프로그래밍된 블록 위에 새로운 작업을 구축할 수 있도록 하였다.
• 예를 들어, 상단 선반에서 집고 하단 선반에 놓기, 집고 던지기 등의 복잡한 시퀀스를 동일한 학습된 정책 구성 요소로 성공적으로 실행하여 다양한 시나리오에서의 확장성을 입증하였다.

Figure 2: An illustration of a task model.