[논문 리뷰] Learning-from-Observation System Considering Hardware-Level Reusability

Jun Takamatsu, Kazuhiro Sasabuchi외 3명|arXiv (Cornell University)|2022. 12. 19.

Robotic Path Planning Algorithms인용 수 4

한 줄 요약

이 논문은 로봇에 종속되지 않는 형태로 작업을 표현하고 손 전용 기술을 로봇 신체 제어에서 분리함으로써 하드웨어 수준에서의 재사용성을 가능하게 하는 관찰 학습 시스템을 제안한다. 일반적인 역운동학 해법기와 손에 집중된 기술 라이브러리를 사용함으로써, 동일한 작업 시퀀스와 파rameter는 Nextage와 Fetch라는 두 가지 다른 로봇에서 성공적으로 실행되었으며, 이는 다양한 하드웨어 플랫폼 간에 높은 재사용성을 입증한다.

ABSTRACT

Robot developers develop various types of robots for satisfying users' various demands. Users' demands are related to their backgrounds and robots suitable for users may vary. If a certain developer would offer a robot that is different from the usual to a user, the robot-specific software has to be changed. On the other hand, robot-software developers would like to reuse their developed software as much as possible to reduce their efforts. We propose the system design considering hardware-level reusability. For this purpose, we begin with the learning-from-observation framework. This framework represents a target task in robot-agnostic representation, and thus the represented task description can be shared with various robots. When executing the task, it is necessary to convert the robot-agnostic description into commands of a target robot. To increase the reusability, first, we implement the skill library, robot motion primitives, only considering a robot hand and we regarded that a robot was just a carrier to move the hand on the target trajectory. The skill library is reusable if we would like to the same robot hand. Second, we employ the generic IK solver to quickly swap a robot. We verify the hardware-level reusability by applying two task descriptions to two different robots, Nextage and Fetch.

연구 동기 및 목표

• 로봇 분야에서 맞춤형 로봇 개발과 소프트웨어 재사용성 간의 갈등을 해결하기 위해.
• 다양한 로봇 하드웨어 플랫폼 간에 재사용 가능한 로봇에 종속되지 않는 작업 표현 방식을 제공하기 위해.
• 손 전용 기술을 분리하고 신체 운동 제어를 분리함으로써 새로운 로봇에 소프트웨어를 적응시키는 데 필요한 노력의 양을 줄이기 위해.
• Nextage와 Fetch 로봇에서의 플랫폼 간 실행을 통해 하드웨어 수준의 재사용성을 검증하기 위해.

제안 방법

• 인간의 시연로부터 유도된 로봇에 종속되지 않는 형식(예: grasp, pick, place)의 기호적 시퀀스로 작업을 표현하기.
• 강화 학습을 사용하여 그립 및 궤적 추종 행동을 훈련하는 데 집중된 손 전용 기술 라이브러리 구현하기.
• 일반적인 역운동학 해법기와 신체 역할 분리 기법을 사용하여 로봇 신체 운동 제어를 추상화함으로써 쉽게 로봇 교체가 가능하도록 하기.
• 초기형 물체 모델과 RANSAC 기반 분할을 기반으로 훈련된 CNN을 사용해 깊이 영상에서 기술 파rameter(예: 그립 자세) 추정하기.
• 손가락 관절의 힘 피드백을 통해 충격 사건을 감지하고, 궤적 생성 종료와 같은 작업 전환을 트리거하기.
• 하드웨어에 특화된 매핑을 처리하는 모듈식 컨버터를 통해 로봇에 종속되지 않는 작업 시퀀스를 대상 로봇 명령어로 매핑하기.

실험 결과

연구 질문

• RQ1 인간의 시연로부터 학습된 작업 표현 방식이 다양한 로봇 하드웨어 플랫폼 간에 재사용 가능한가?
• RQ2 플랫폼 간에 손만 동일할 경우, 기술 라이브러리의 공유 범위는 어느 정도인가?
• RQ3 일반적인 역운동학 해법기가 운동 제어를 재구현하지 않고도 빠른 로봇 교체를 가능하게 하는가?
• RQ4 공유된 궤적 파rameter를 사용해 충돌 회피를 효과적으로 시연 학습으로 일반화할 수 있는가?

주요 결과

• 같은 작업 시퀀스—접시 위에 놓기 및 선반 시연—이 동일한 기술 라이브러리와 파rameter를 사용해 Nextage와 Fetch 로봇 양쪽에서 성공적으로 실행되었다.
• 손(Shadow Hand Lite)이 동일할 경우, 다른 운동학적 특성과 물리적 형태를 가진 로봇들 간에도 기술 라이브러리를 재사용함으로써 하드웨어 수준의 재사용성이 달성되었다.
• 일반적인 IK 해법기의 사용으로 제어 스택에 최소한의 변경만으로도 원활한 로봇 교체가 가능했다.
• 손의 관절에서 온 힘 피드백이 충격 사건을 성공적으로 감지하여, 모든 로봇에서 일관된 작업 전환 논리가 유지되었다.
• 깊이 영상에서 CNN 기반 파rameter 추정 기법이 로봇에 특화된 校정 없이도 정확한 그립 자세 예측을 가능하게 하였다.
• 시스템은 미세한 환경적 차이에 대해 뛰어난 강인성을 보였으며, 실행 중 센서 피드백을 통해 적응할 수 있었다.