[논문 리뷰] ROS-PyBullet Interface: A Framework for Reliable Contact Simulation and Human-Robot Interaction

Christopher E. Mower, Theodoros Stouraitis외 8명|arXiv (Cornell University)|2022. 10. 13.

Robot Manipulation and Learning인용 수 7

한 줄 요약

이 논문은 접촉이 풍부한 로봇 작업을 위한 신뢰할 수 있고 고정밀한 접촉 및 충격 시뮬레이션을 가능하게 하기 위해 PyBullet 물리 시뮬레이터와 로봇 운영 체제(Robot Operating System, ROS)를 연결하는 프레임워크인 ROS-PyBullet 인터페이스를 제시한다. 이 프레임워크는 학습된 정책을 시뮬레이션에서 실제 하드웨어로의 원활한 이행을 지원하며, 다양한 인간-로봇 상호작용(HRI) 인터페이스를 통합하고, 복잡한 조작 시나리오에서의 기계학습을 위한 데이터 수집을 가능하게 한다.

ABSTRACT

Reliable contact simulation plays a key role in the development of (semi-)autonomous robots, especially when dealing with contact-rich manipulation scenarios, an active robotics research topic. Besides simulation, components such as sensing, perception, data collection, robot hardware control, human interfaces, etc. are all key enablers towards applying machine learning algorithms or model-based approaches in real world systems. However, there is a lack of software connecting reliable contact simulation with the larger robotics ecosystem (i.e. ROS, Orocos), for a more seamless application of novel approaches, found in the literature, to existing robotic hardware. In this paper, we present the ROS-PyBullet Interface, a framework that provides a bridge between the reliable contact/impact simulator PyBullet and the Robot Operating System (ROS). Furthermore, we provide additional utilities for facilitating Human-Robot Interaction (HRI) in the simulated environment. We also present several use-cases that highlight the capabilities and usefulness of our framework. Please check our video, source code, and examples included in the supplementary material. Our full code base is open source and can be found at https://github.com/cmower/ros_pybullet_interface.

연구 동기 및 목표

• 신뢰할 수 있는 접촉 시뮬레이터인 PyBullet와 ROS 생태계 간의 통합 부족 문제를 해결하여 학습된 정책을 실제 로봇에 구현하는 데 걸림돌이 되지 않도록 한다.
• 푸시, 캐치, 공조 조작과 같은 접촉이 풍부한 조작 작업에서 기계학습을 위한 확장 가능한 데이터 수집을 가능하게 한다.
• 하프틱 장치, 6차원 마우스, 동작 캡처 수트 등 다양한 인간-로봇 상호작용(HRI) 모드를 지원하여 현실적인 원격 조작 및 시연 수집을 가능하게 한다.
• ROS 기반 제어 파이프라인을 활용하여 시뮬레이션에서 실제 로봇 하드웨어로 제어 정책을 안전하고 모듈러하게 이행할 수 있도록 한다.
• 역운동역학, 운동 계획, 모델 예측 제어(MPC)를 지원하는 확장 가능하고 모듈러한 소프트웨어 아키텍처를 제공하여 알고리즘 개발을 가속화한다.

제안 방법

• PyBullet를 주요 물리 엔진으로 사용하는 ROS 내장 프레임워크를 구현하여, 일반화된 좌표 공식을 활용해 정확한 접촉 및 충격 모델링을 수행한다.
• 클래스 계층과 ROS 노드를 활용한 모듈러 시스템을 설계하여 확장성을 확보하고, 다양한 로봇(예: KUKA IIWA, Nextage, Kinova)과 HRI 장치의 통합을 가능하게 한다.
• 키보드, 마우스, 조이스틱, 6차원 마우스, 하프틱 장치(예: HaptX, 6D 마우스), Xsens 동작 캡처 수트 등 다양한 HRI 인터페이스를 통합하여 실시간 인간-중심 상호작용을 지원한다.
• ROS 기반 제어 인터페이스를 통해 학습된 제어 목표를 실제 로봇 명령어로 매핑하며, 내장된 관절 한계 및 토크 제약 조건 검사를 통해 안전한 운영을 보장한다.
• ROS 호환 모듈을 통합하여 모델 예측 제어(MPC)와 역운동역학(IK)을 지원하여 제어 정밀도와 계획 능력을 향상시킨다.
• 빠른 프로토타이핑과 기계학습 생태계와의 호환성을 확보하기 위해 구현에 파이썬을 사용하였으며, 실험에서 최대 200 Hz에서 성능이 검증되었다.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 접촉 시뮬레이션 프레임워크를 ROS 생태계에 효과적으로 통합하여 종단 간 로봇 학습 및 제어 파이프라인을 지원할 수 있는가?
• RQ2 다양한 HRI 인터페이스를 통해 시뮬레이션에서 수집한 인간 시연가 접촉이 풍부한 실제 조작 작업을 위한 강력한 정책 학습에 얼마나 효과적으로 활용될 수 있는가?
• RQ3 200 Hz에서 고정밀 물리 시뮬레이션을 실행할 때 파이썬 기반 ROS 인터페이스의 성능 및 지연 특성은 어떠한가?
• RQ4 ROS-PyBullet 인터페이스를 통해 PyBullet에서 학습된 정책이 실제 로봇 하드웨어로 얼마나 효과적으로 이행될 수 있는가?
• RQ5 통합된 프레임워크 내에서 시뮬레이션, HRI, 실제 로봇 제어 간의 모듈성, 확장성, 상호운용성을 보장하는 데 핵심이 되는 설계 원칙은 무엇인가?

주요 결과

• ROS-PyBullet 인터페이스는 PyBullet의 일반화된 좌표 공식을 활용해 신뢰할 수 있는 접촉 및 충격 모델링을 포함한 전체 물리 시뮬레이션을 성공적으로 구현하였으며, 복잡한 접촉 시나리오에서 기존의 ROS 호환 시뮬레이터인 Gazebo의 Bullet 백엔드보다 뛰어난 성능을 보였다.
• 관찰 가능한 지연 없이 최대 200 Hz에서 실시간 시뮬레이션을 구현하여, 파이썬을 사용함에도 불구하고 실시간 제어 및 학습 응용 분야에 적합함을 입증하였다.
• 하프틱 장치 및 동작 캡처 장치를 포함한 다양한 HRI 모드가 성공적으로 통합되어 시뮬레이션에서 현실적인 인간 시연 및 힘 피드백을 구현할 수 있었다.
• ROS 기반 인터페이스를 통해 학습된 정책을 시뮬레이션에서 실제 하드웨어로 직접 이행할 수 있었으며, 관절 한계 및 토크 제약 조건 검사를 위한 내장된 안전 체크 기능이 존재했다.
• 이 시스템은 최근의 연구 작업들(예: 이중 공조 조작, 푸시, 수술용 로봇)을 포함해 여러 연구에서 채택되었으며, 그 유용성과 재사용 가능성을 입증하였다.
• GitHub에 공개된 LGPL 라이선스 하에 (github.com/cmower/ros_pybullet_interface) 포괄적인 문서, 예제, ROS Noetic 지원을 제공하여 광범위한 커뮤니티 수용과 확장성을 이룩하였다.