[논문 리뷰] On Bringing Robots Home

Nur Muhammad Mahi Shafiullah, Anant Rai외 5명|arXiv (Cornell University)|2023. 11. 27.

Social Robot Interaction and HRI인용 수 4

한 줄 요약

이 논문은 DIY '스틱' 도구를 사용해 5분 이내의 인간 시연만으로도 가정용 로봇이 새로운 작업을 학습할 수 있도록 해주는 저비용, 일반 목적의 로봇 시스템 Dobb·E를 소개한다. 뉴욕시 22개 가정에서 수집한 13시간 분량의 데이터셋을 기반으로 훈련된 Dobb·E는 홈 프리트레인드 리프리젠테이션(HPR)을 사용해 109개의 가정 내 작업에서 81%의 성공률를 기록했으며, 전체 코드, 모델, 하드웨어 설계도 오픈소스로 공개되어 가정 로봇 연구를 가속화한다.

ABSTRACT

Throughout history, we have successfully integrated various machines into our homes. Dishwashers, laundry machines, stand mixers, and robot vacuums are a few recent examples. However, these machines excel at performing only a single task effectively. The concept of a "generalist machine" in homes - a domestic assistant that can adapt and learn from our needs, all while remaining cost-effective - has long been a goal in robotics that has been steadily pursued for decades. In this work, we initiate a large-scale effort towards this goal by introducing Dobb-E, an affordable yet versatile general-purpose system for learning robotic manipulation within household settings. Dobb-E can learn a new task with only five minutes of a user showing it how to do it, thanks to a demonstration collection tool ("The Stick") we built out of cheap parts and iPhones. We use the Stick to collect 13 hours of data in 22 homes of New York City, and train Home Pretrained Representations (HPR). Then, in a novel home environment, with five minutes of demonstrations and fifteen minutes of adapting the HPR model, we show that Dobb-E can reliably solve the task on the Stretch, a mobile robot readily available on the market. Across roughly 30 days of experimentation in homes of New York City and surrounding areas, we test our system in 10 homes, with a total of 109 tasks in different environments, and finally achieve a success rate of 81%. Beyond success percentages, our experiments reveal a plethora of unique challenges absent or ignored in lab robotics. These range from effects of strong shadows, to variable demonstration quality by non-expert users. With the hope of accelerating research on home robots, and eventually seeing robot butlers in every home, we open-source Dobb-E software stack and models, our data, and our hardware designs at https://dobb-e.com

연구 동기 및 목표

• 실생활 가정에서 다양한 가정 내 작업을 학습할 수 있는 저비용, 일반 목적의 로봇 시스템을 개발하는 것.
• 실험실 기반 로봇 성능과 실생활 가정 배포 간 격차를 해소하기 위해 통제되지 않은 다양한 가정 환경에서 데이터를 수집하는 것.
• 최소한의 인간 시연를 통해 이민 학습을 통해 빠른 작업 학습을 가능하게 하여 사용자 편의성과 안전성을 향상시키는 것.
• 하드웨어, 소프트웨어, 데이터셋, 사전 훈련된 모델을 오픈소스로 공개하여 가정 로봇 연구의 확장 가능한 프레임워크를 구축하는 것.
• 통제된 실험실 환경에서 간과된 실생활 문제들—예: 조도 변화, 센서 한계—를 식별하고 문서화하는 것.

제안 방법

• 스틱은 도시락 집게, 3D 프린팅 부품, 아이폰을 조합해 제작된 저비용 시연 도구로, 전문가가 아닌 사용자가 낯선 가정 환경에서도 작업 시연를 기록할 수 있도록 한다.
• 22개 뉴욕 가정에서 13시간 분량의 인간 시연 데이터를 수집하여, 216개 환경에서 총 5,620개의 시연를 포함한 '뉴욕의 집들(HoNY)' 데이터셋을 구성했다.
• 홈 프리트레인드 리프리젠테이션(HPR)은 HoNY 데이터셋의 RGB 및 깊이 영상 데이터를 기반으로 자기지도 학습(SSL)을 통해 강력한 시각적 및 공간적 표현을 학습한다.
• 새로운 작업을 위해 HPR 모델은 행동 클로닝을 통해 단지 24개의 시연(5분 분량의 데이터)로 미세조정되어 새로운 환경에 신속히 적응할 수 있도록 한다.
• 시스템은 상용으로 출시된 Hello Robot Stretch 로봇에 구현되었으며, 아이폰 마운트를 동기화하여 스틱에서 로봇로 직접 데이터 전송이 이루어진다.
• 하드웨어, 데이터 수집, 사전 훈련, 배포를 통합한 종합적인 파이프라인을 구축하였으며, 재현성과 협업을 위해 모든 구성 요소를 오픈소스로 공개했다.

Figure 1 : We present Dobb·E, a simple framework to train robots, which is then field tested in homes across New York City. In under 30 mins of training per task, Dobb·E achieves 81% success rates on simple household tasks.

실험 결과

연구 질문

• RQ1 저비용, 일반 목적의 로봇이 실생활 가정에서 단지 5분의 인간 시연만으로도 다양한 가정 내 작업을 학습할 수 있는가?
• RQ2 대규모 실생활 가정 데이터셋에서 사전 훈련된 모델이 로봇 조작에서 제로샷 및 희소-shot 일반화 성능을 어떻게 향상시키는가?
• RQ3 조도 변화, 센서 노이즈, 하드웨어 한계 등과 같은 주요 실생활 실패 원인들이 비정형 가정 환경에서 성능 저하를 초래하는가?
• RQ4 시연자 전문성 또는 데이터 품질이 실생활 가정 배포에서 최종 작업 성공률에 어떤 영향을 미치는가?
• RQ5 오픈소스 하드웨어, 소프트웨어, 데이터셋이 가정 로봇 연구를 얼마나 가속화하고, 진입 장벽을 어떻게 낮출 수 있는가?

주요 결과

• Dobb·E는 10개의 실제 가정에서 109개의 가정 내 작업을 수행하며 81%의 성공률를 기록했으며, 평균 각 작업당 24개의 시연와 15분의 미세조정 시간이 소요되었다.
• 도메인 적응 없이도 새로운 환경과 작업으로의 일반화가 성공적으로 이루어져, 홈 프리트레인드 리프리젠테이션(HPR)의 효과성을 입증했다.
• 조도 변화와 강한 그림자로 인한 실패가 주요 원인으로 밝혀졌으며, 전체 실패의 15%는 빛 부족 조건에서 기인했다.
• 비전문가 사용자가 수집한 시범은 품질이 다양했으며, 명확하거나 일관되지 않은 동작으로 인해 22%의 작업에서 재수집이 필요했다.
• 특히 혼잡하거나 복잡한 환경에서 깊이 인식 및 가림 처리 한계로 인한 센서 한계가 실패의 18%를 차지했으며, 이는 주로 복잡한 시나리오에서 발생했다.
• 하드웨어 설계도 포함한 전체 스택(코드, 데이터셋(77GB, RGB 및 깊이 포함), 사전 훈련된 모델)을 오픈소스로 공개하여 완전한 재현성과 커뮤니티 기반 확장이 가능해졌다.

Figure 2 : (A) We design a new imitation learning framework, starting with a data collection tool. (B) Using this data collection tool, users can easily collect demonstrations for household tasks. (C) Using a similar setup on a robot, (D) we can transfer those demos using behavior cloning techniques