[논문 리뷰] RoboHive: A Unified Framework for Robot Learning

Vikas Kumar, Rutav Shah외 6명|arXiv (Cornell University)|2023. 10. 10.

Robot Manipulation and LearningEngineering인용 수 3

한 줄 요약

RoboHive는 높은 물리적 정밀도와 시각적 다양성을 갖춘 다양한 시뮬레이션 환경과 실제 환경을 통합하는 오픈소스로 통합된 로봇 학습 프레임워크입니다. 표준화된 gym 유사 인터페이스, 통합된 RobotClass를 통한 하드웨어 추상화, 원격 조작 지원, 전문가 시연(RoboSet) 및 종합적인 베이스라인을 제공하여 시뮬레이션에서 실제 환경으로의 원활한 전이를 가능하게 하며, 모방 학습, 강화 학습, 다중 작업 학습 분야의 연구를 가속화합니다.

ABSTRACT

We present RoboHive, a comprehensive software platform and ecosystem for research in the field of Robot Learning and Embodied Artificial Intelligence. Our platform encompasses a diverse range of pre-existing and novel environments, including dexterous manipulation with the Shadow Hand, whole-arm manipulation tasks with Franka and Fetch robots, quadruped locomotion, among others. Included environments are organized within and cover multiple domains such as hand manipulation, locomotion, multi-task, multi-agent, muscles, etc. In comparison to prior works, RoboHive offers a streamlined and unified task interface taking dependency on only a minimal set of well-maintained packages, features tasks with high physics fidelity and rich visual diversity, and supports common hardware drivers for real-world deployment. The unified interface of RoboHive offers a convenient and accessible abstraction for algorithmic research in imitation, reinforcement, multi-task, and hierarchical learning. Furthermore, RoboHive includes expert demonstrations and baseline results for most environments, providing a standard for benchmarking and comparisons. Details: https://sites.google.com/view/robohive

연구 동기 및 목표

• 다양한 환경, 알고리즘, 하드웨어 인터페이스를 하나의 유지보수 용이한 생태계로 통합하여 로봇 학습 소프트웨어의 분산된 환경을 해결하기 위해.
• 표준화되고 접근하기 쉬운 API와 시뮬레이션 및 실제 환경 배포를 위한 즉시 사용 가능한 지원을 제공하여 연구자들이 진입장벽을 낮추기 위해.
• 표준화된 메트릭, 전문가 시범(로보셋), 다양한 작업 패밀리에 걸쳐 기준 결과를 제공함으로써 강력한 벤치마킹을 가능하게 하기 위해.
• 높은 물리적 정밀도와 풍부한 시각적 다양성을 강조함으로써 시각 일반화 및 실제 환경 전이를 지원하기 위해.
• 버전 관리된 릴리스, CI 테스트, 광범위한 문서화를 통해 재현 가능성과 커뮤니티 기반 개발을 촉진하기 위해.

제안 방법

• 프레임워크는 시뮬레이션 및 물리적 로봇을 모두 추상화하는 통합된 RobotClass 추상화를 도입하여, 단일 설정 플래그만으로도 시뮬레이션에서 실제 환경으로의 원활한 전이를 가능하게 합니다.
• 높은 정밀도의 물리 시뮬레이션을 위해 MuJoCo를 활용하고, 풍부한 시각 자산, 텍스처, 장면 구성 요소를 통합하여 시각적 다양성을 향상시킵니다.
• 키보드, 스페이스 마우스, VR 컨트롤러를 통해 원격 조작을 네이티브로 지원하여 모방 학습을 위한 인간 주석 기반 전문가 시범(RoboSet) 수집을 가능하게 합니다.
• 강화 학습 및 모방 학습 알고리즘과의 통합을 위해 gym 유사 인터페이스를 제공하여, TorchRL 및 mjRL와 같은 기존 RL 라이브러리와의 호환성을 확보합니다.
• 주요 환경에서 시각 도메인 랜덤라이제이션과 장면 레이아웃 랜덤라이제이션을 네이티브로 지원하여 시각적 변동에 대한 강건성을 향상시킵니다.
• 모든 환경는 버전 관리되고 지속적 통합을 통해 소프트웨어 릴리스 간 신뢰성과 재현 가능성을 보장합니다.

Figure 1: A subset of RoboHive ’s task-suites. [in clockwise order] Multi-Task Suite : Environments facilitating multiple tasks at once. Arms Suite : Diverse arms (w/ grippers) exposed to tabletop manipulation tasks. Hand Suite : Diverse hands exposed to tasks requiring dexterity. Locomotion Suite :

실험 결과

연구 질문

• RQ1 다양한 작업과 하드웨어를 대상으로 로봇 학습 알고리즘의 개발 및 벤치마킹을 단순화하는 데 있어 통합 소프트웨어 프레임워크는 어떻게 기여할 수 있는가?
• RQ2 시뮬레이션 환경에서의 높은 시각적 및 물리적 정밀도는 정책의 일반화 능력과 실제 환경 전이 능력에 얼마나 기여하는가?
• RQ3 표준화되고 접근 가능한 인터페이스는 모방 학습, 다중 작업 학습, 계층적 강화 학습 분야의 연구를 얼마나 가속화할 수 있는가?
• RQ4 원격 조작를 통해 수집된 전문가 시범은 복잡한 조작 및 이동 작업에서 샘플 효율적인 학습을 얼마나 효과적으로 가능하게 하는가?
• RQ5 시각적 다양성과 도메인 랜덤라이제이션은 시각 기반 제어 정책의 강건성에 어떤 영향을 미치는가?

주요 결과

• RoboHive는 MuJoCo 기반의 높은 물리 정밀도를 갖춘 환경을 통해 조작, 이동, 정교한 손 제어, 근육골격계 에이전트, 변형 가능한 물체 등 다양한 작업을 지원합니다.
• 통합된 RobotClass 추상화를 통해 단일 플래그 변경만으로도 시뮬레이션에서 실제 환경으로의 원활한 전이가 가능하여, 배포 오버헤드를 크게 감소시킵니다.
• 12가지 주방 기술을 포함하는 대규모 인간 원격 조작 데이터셋인 RoboSet을 오픈소스로 공개하여 오프라인 및 모방 학습 연구를 지원합니다.
• 일반적으로 사용되는 알고리즘을 위한 베이스라인이 제공되고 버전 관리되며, 릴리스 간 성능 추적을 통해 재현 가능성 확보 및 성능 저하 감지를 가능하게 합니다.
• 실험 결과, 이동 작업(예: ROBEL D’Kitty)에서는 시각적 표현이 프로 prioceptive 전용 기반보다 성능이 열 劣함을 확인하여, 시각 일반화의 과제를 드러냈습니다.
• 정교한 조작 작업(예: Pen, Relocate)에서는 단지 25개의 시범만으로도 행동 클로닝이 어려움을 보이며, 제한된 전문가 데이터로 다중 모드 동작 분포를 학습하는 데의 어려움을 강조합니다.

Figure 2: RoboHive presents environments with rich visual diversity to aid research in visual generalization and places high emphasis on physical realism to facilitate the real-world transfer.