[논문 리뷰] A Mobile Manipulation System for One-Shot Teaching of Complex Tasks in Homes

Max Bajracharya, James Borders외 11명|arXiv (Cornell University)|2019. 09. 30.

Robot Manipulation and Learning참고 문헌 43인용 수 4

한 줄 요약

이 논문은 단일 가상현실(VR) 시연을 통해 실내 주거 환경에서 인간 수준의 복잡한 작업을 학습할 수 있도록 하는 모바일 조작 시스템을 제시한다. 매개변수화된 하이브리드 제어, 시각적 장면 이해를 위한 학습된 밀도 높은 시각 임베딩, 작업 그래프 아키텍처를 결합함으로써, 평균적으로 각 작업당 45개의 행동을 포함하는 60회의 종단 간 작업 실행에서 85%의 성공률을 달성하였으며, 사전 지도나 물체 모델 없이 환경 변화에 강건함을 입증하였다.

ABSTRACT

We describe a mobile manipulation hardware and software system capable of autonomously performing complex human-level tasks in real homes, after being taught the task with a single demonstration from a person in virtual reality. This is enabled by a highly capable mobile manipulation robot, whole-body task space hybrid position/force control, teaching of parameterized primitives linked to a robust learned dense visual embeddings representation of the scene, and a task graph of the taught behaviors. We demonstrate the robustness of the approach by presenting results for performing a variety of tasks, under different environmental conditions, in multiple real homes. Our approach achieves 85% overall success rate on three tasks that consist of an average of 45 behaviors each.

연구 동기 및 목표

• 사전 물체 모델이나 지도 없이 비정형 주거 환경에서 일반 목적의 모바일 조작 기계가 인간 수준의 복잡한 작업을 수행할 수 있도록 하는 것.
• 가상현실에서 단일 인간 시연을 통해 새로운 작업을 학습할 수 있는 시스템을 개발하여, 새로운 작업에 대한 엔지니어링 노력 최소화.
• 조명 변화, 혼잡함, 물체 재배치와 같은 자연적인 환경 변화에 강건한 실행 성능 확보.
• 학습된 시각 임베딩를 통해 인식과 행동을 분리함으로써 모듈식이고 진단 가능한 작업 실행을 가능하게 하는 것.
• 최소한의 인간 간섭과 높은 고장 내성으로 실주거 환경에서 종단 간 작업 성공을 보여주는 것.

제안 방법

• VR 기반 교육을 용이하게 하기 위해 높은 종단 효율성과 넓은 시야각을 가진 고성능 모바일 조작 기계를 사용한다.
• 사용자가 매개변수화된 하이브리드 위치/힘 제어를 사용하여 행동을 시연함으로써 강건성과 최소한의 파rameter 조정을 확보한다.
• 교육 중 关건 프레임에서 추출된 밀도 높은 학습된 픽셀 단위 시각 임베딩을 사용하여 실행 시점에서의 강건한 장면 매칭을 가능하게 하며, 시점 변화와 조명 변화에도 견딜 수 있다.
• 행동들이 시각 임베딩에 연결되고, 정의된 진입 조건과 성공 기반 종료 조건을 가진 동적 작업 그래프로 조직되어 행동의 재사용과 연결이 가능해진다.
• 전역 지ap을 명시적으로 생성하지 않고, 시각 키프레임 매칭과 반응형 경로 추적을 통해 주행 및 조작을 수행한다.
• 고장 탐지 및 복구 기능이 작업 그래프에 통합되어, 99.6%의 행동 고장에 대해 탐지 및 복구가 가능하며, 치명적인 고장은 관측되지 않았다.

실험 결과

연구 질문

• RQ1 모바일 조작 기계는 사전 물체 모델이나 지도 없이 실주거 환경에서 단일 VR 시연를 통해 복잡한 다단계 작업을 학습할 수 있는가?
• RQ2 조명 변화, 혼잡함, 물체 재배치와 같은 자연적인 환경 변화에 대해 시스템은 얼마나 강건한가?
• RQ3 학습된 시각 임베딩는 어떤 정도로 다양한 장면 구성과 시점에서 정확한 행동 실행을 가능하게 하는가?
• RQ4 작업 그래프 아키텍처는 복잡한 다행위 작업 실행 중 행동 재사용과 복구에 얼마나 효과적인가?
• RQ5 다양하고 비정형적인 조건에서 실주거 환경에서 시스템의 종단 간 성공률은 얼마인가?

주요 결과

• 두 개의 실제 주거 환경에서 60회의 종단 간 작업 실행 전반에서 총 성공률 85%를 기록하였으며, 평균적으로 각 작업당 45개의 행동을 포함하는 3개의 복잡한 작업을 수행하였다.
• 조명 변화, 추가 장애물, 재배치된 물체, 캐비닛 문 상태 변화(열림, 닫힘, 부분 열림)와 같은 심각한 환경 변화에 대해 강건함을 입증하였다.
• 행동 고장은 총 0.4%의 경우에서 발생하였으며, 주로 물체 자세 추정 오류나 잘못된 키프레임 매칭(예: 부분적으로 열린 캐비닛을 닫힌 것으로 오분류) 때문이었다.
• 고장 탐지 및 복구 메커니즘이 99.6%의 행동이 성공하거나 복구 가능하게 하였으며, 테스트 기간 동안 치명적인 고장을 관측하지 못했다.
• 로봇은 인간보다 평균 20배 느리게 작업을 수행하였으며(10~100배 느림), 성능 최적화 여건이 남아 있음을 시사한다.
• 학습된 밀도 높은 시각 임베딩의 사용으로, 물체 인식이나 분할을 명시적으로 요구하지 않더라도 다양한 시각 조건, 시점 변화 및 장면 혼잡함에서도 신뢰할 수 있는 행동 실행이 가능했다.