[논문 리뷰] Evaluating Real-World Robot Manipulation Policies in Simulation

Xuanlin Li, Kyle Hsu외 14명|arXiv (Cornell University)|2024. 05. 09.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 완전한 피지컬리티를 갖춘 디지털 트윈이 필요 없이도 실제 로봇 조작 정책의 평가를 위한 확장성 있고 재현 가능하며 신뢰할 수 있는 시뮬레이션 환경의 세트인 SIMPLER을 제안한다. 제어 및 시각적 이질성을 시스템 식별, 그린스크린 기법, 텍스처 베이킹을 통해 해결함으로써, 저자들은 다양한 정책과 작업에 걸쳐 실제 성능과 시뮬레이션 성능 간 강한 상관관계를 입증하였으며, 일반화된 조작 정책에 대한 효과적인 시뮬레이션에서 실제 환경 평가를 가능하게 한다.

ABSTRACT

The field of robotics has made significant advances towards generalist robot manipulation policies. However, real-world evaluation of such policies is not scalable and faces reproducibility challenges, which are likely to worsen as policies broaden the spectrum of tasks they can perform. We identify control and visual disparities between real and simulated environments as key challenges for reliable simulated evaluation and propose approaches for mitigating these gaps without needing to craft full-fidelity digital twins of real-world environments. We then employ these approaches to create SIMPLER, a collection of simulated environments for manipulation policy evaluation on common real robot setups. Through paired sim-and-real evaluations of manipulation policies, we demonstrate strong correlation between policy performance in SIMPLER environments and in the real world. Additionally, we find that SIMPLER evaluations accurately reflect real-world policy behavior modes such as sensitivity to various distribution shifts. We open-source all SIMPLER environments along with our workflow for creating new environments at https://simpler-env.github.io to facilitate research on general-purpose manipulation policies and simulated evaluation frameworks.

연구 동기 및 목표

• 일반화된 로봇 조작 정책의 실제 평가에서 발생하는 확장성과 재현 가능성 문제를 해결한다.
• 시간과 자원을 많이 소모하는 완전한 피지컬리티를 갖춘 디지털 트윈의 한계를 극복한다.
• 제어 및 시각적 이질성에도 불구하고 실제 성능과 강한 상관관계를 유지하는 시뮬레이션 기반 평가 프레임워크를 개발한다.
• 분포 이질성에 대한 민감성과 같은 정책 행동 모드를 시뮬레이션에서 정확하게 반영한다.
• SIMPLER 환경과 평가 워크플로우를 오픈소스화하여 일반화된 조작 정책 분야의 연구를 널리 확산시킨다.

제안 방법

• 실제 및 시뮬레이션 환경 간 제어 동역학을 보정하기 위해 오프라인 시스템 식별을 사용하여 제어 이질성을 감소시킨다.
• 실제 배경을 사용하여 관측을 시뮬레이션하기 위해 '그린스크린' 기법을 적용하여 시각적 현실감과 일치도를 향상시킨다.
• 실제 이미지에서 추출한 물체 텍스처를 베이킹하여 3D 재구성 없이도 시뮬레이션의 시각적 정밀도를 향상시킨다.
• 표준 Gym 인터페이스를 사용하여 새로운 SIMPLER 환경을 만들기 위한 모듈러한 파이프라인을 설계하여 간편한 통합과 재사용을 가능하게 한다.
• SIMPLER 환경에서 정책을 평가하고, 피어슨 상관계수 및 MMRV와 같은 지표를 사용하여 실제 성능과 직접 비교한다.
• 실제 평가와 시뮬레이션 평가 간 절대 성공률의 분포 이질성을 평가하기 위해 크루스칼-월리스 검정을 수행한다.

Figure 0 : We introduce SIMPLER, a suite of open-source simulated evaluation environments for common real robot manipulation setups, namely the Google Robot evaluations from the RT-series of works [ 6 , 5 , 11 ] , and environments from the BridgeData V2 dataset [ 66 ] . All environments can be impor

실험 결과

연구 질문

• RQ1 시뮬레이션 기반 평가는 일반화된 조작 정책의 실제 평가를 위한 확장성 있고 재현 가능하며 신뢰할 수 있는 대체 수단이 될 수 있는가?
• RQ2 실제 환경과 시뮬레이션 환경 간의 제어 및 시각적 이질성이 시뮬레이션 정책 평가의 정밀도를 얼마나 떨어뜨리는가?
• RQ3 완전한 피지컬리티를 갖춘 실제 환경의 디지털 트윈을 구축하지 않더라도 효과적인 시뮬레이션 평가를 달성할 수 있는가?
• RQ4 SIMPLER는 실제 정책 행동 모드, 예를 들어 시각적 분포 이질성에 대한 내성성 등을 정확하게 반영하는가?
• RQ5 SIMPLER는 단일 작업 정책을 포함한 다양한 데이터 스케일에서 훈련된 정책들에 대해 얼마나 잘 일반화되는가?

주요 결과

• 기본 시뮬레이션 방법과 비교해 SIMPLER 평가에서는 실제 성능과 시뮬레이션 성능 간 피어슨 상관계수는 상당히 높고, MMRV(평균 중앙상대편차)는 유의미하게 낮게 나타났다.
• 이 프레임워크는 시각적 분포 이질성에 대한 민감성과 같은 정책 행동 모드를 정확히 반영하여 단순한 성능 순위 매기기 이상의 정밀도를 보였다.
• 단일 작업 정책인 'pick coke can'에 대해서도 SIMPLER는 낮은 MMRV와 높은 피어슨 상관계수를 유지하여 다양한 데이터 스케일에서의 효과성을 확인했다.
• 크루스칼-월리스 검정 결과 대부분의 작업에서 시뮬레이션 성공률 분포가 실제 분포와 유의미하게 다를 바 없었으며, 절대 성능 이질성이 최소화됨을 시사했다.
• 시각적 매칭 평가 방법은 대부분의 작업에서 유의미한 분포 이질성이 없었고(p ≥ 0.05), 시뮬레이션 파이프라인의 강건성을 검증했다.
• MMRV와 크루스칼-월리스 지표의 조합은 상호보완적인 통찰을 제공한다: MMRV는 상대적 성능 일치도를 측정하고, 크루스칼-월리스 검정은 절대 분포 일致성 여부를 평가한다.

Figure 1 : Illustration of Mean Maximum Rank Violation (MMRV, range $[0,1]$ , lower is better) and Pearson correlation coefficient (Pearson $r$ , range $[-1,1]$ , higher is better) for assessing the correlation between policy performances in real-world and simulation, as well as the overall quality