[論文レビュー] Evaluating Real-World Robot Manipulation Policies in Simulation

Xuanlin Li, Kyle Hsu+14 more|arXiv (Cornell University)|May 9, 2024

Robot Manipulation and Learning被引用数 4

ひとこと要約

本論文では、完全なフィidelティのデジタルツインを必要とせずに、現実世界のロボット操作ポリシーの評価をスケーラブルで再現可能かつ信頼性のあるシミュレーテッド環境で行うための、SIMPLERと呼ばれるフレームワークを提案する。制御および視覚的差異をシステム同定、グリーンスクリーニング、テクスチャベイキングによって解決することで、多様なポリシーとタスクにおいて、シミュレーションと現実世界の性能の間で強い相関関係を実証した。これにより、一般化された操作ポリシーのための効果的なシミュレーションから現実世界への評価が可能になった。

ABSTRACT

The field of robotics has made significant advances towards generalist robot manipulation policies. However, real-world evaluation of such policies is not scalable and faces reproducibility challenges, which are likely to worsen as policies broaden the spectrum of tasks they can perform. We identify control and visual disparities between real and simulated environments as key challenges for reliable simulated evaluation and propose approaches for mitigating these gaps without needing to craft full-fidelity digital twins of real-world environments. We then employ these approaches to create SIMPLER, a collection of simulated environments for manipulation policy evaluation on common real robot setups. Through paired sim-and-real evaluations of manipulation policies, we demonstrate strong correlation between policy performance in SIMPLER environments and in the real world. Additionally, we find that SIMPLER evaluations accurately reflect real-world policy behavior modes such as sensitivity to various distribution shifts. We open-source all SIMPLER environments along with our workflow for creating new environments at https://simpler-env.github.io to facilitate research on general-purpose manipulation policies and simulated evaluation frameworks.

研究の動機と目的

• 一般化されたロボット操作ポリシーの現実世界評価におけるスケーラビリティと再現可能性の課題に対処する。
• 構築に時間とリソースを多く要する完全なフィデリティのデジタルツインの制限を克服する。
• 制御および視覚的差異が存在するにもかかわらず、現実世界の性能と強い相関を持つシミュレーションベースの評価フレームワークを開発する。
• 分布シフトへの感受性といったポリシー行動モードの正確な再現を、シミュレーションで実現する。
• SIMPLER環境と評価ワークフローのオープンソース提供により、一般化された操作ポリシー分野の広範な研究を促進する。

提案手法

• 実環境とシミュレーテッド環境間の制御ダイナミクスを補正するため、オフラインのシステム同定を用い、制御差を低減する。
• 実世界の背景を模倣するために「グリーンスクリーニング」を適用し、視覚的リアリズムと整合性を向上させる。
• 実世界の画像から得たオブジェクトのテクスチャをベイキングして、完全な3D再構築を必要とせずに、シミュレーション内の視覚的忠実度を向上させる。
• 標準的なGymインタフェースを用いたモジュラーなパイプラインを設計し、新しいSIMPLER環境の作成を容易にし、統合と再利用を可能にする。
• ポリシーをSIMPLER環境で評価し、ピアソン相関係数やMMRV（中央絶対相対分散の平均）といった指標を用いて、実世界の性能と直接比較する。
• Kruskal-Wallis検定を実施し、実環境とシミュレーテッド環境における絶対的成功率の分布シフトを評価する。

Figure 0 : We introduce SIMPLER, a suite of open-source simulated evaluation environments for common real robot manipulation setups, namely the Google Robot evaluations from the RT-series of works [ 6 , 5 , 11 ] , and environments from the BridgeData V2 dataset [ 66 ] . All environments can be impor

実験結果

リサーチクエスチョン

• RQ1 シミュレーションベースの評価は、一般化された操作ポリシーの現実世界評価のスケーラブルで再現可能かつ信頼性のある代理指標として機能できるか？
• RQ2 実環境とシミュレーテッド環境の間の制御および視覚的差異が、シミュレーテッド評価の忠実度をどの程度低下させるか？
• RQ3 完全なフィデリティの実環境デジタルツインを構築せずに、効果的なシミュレーテッド評価を達成できるか？
• RQ4 SIMPLERは、視覚的分布シフトへのロバストネスといった、現実世界のポリシー行動モードを正確に反映できるか？
• RQ5 SIMPLERは、単一タスクポリシーを含む多様なデータスケールで学習されたポリシーに対しても、どの程度一般化できるか？

主な発見

• ベースラインのシミュレーション手法と比較して、SIMPLER評価では、実環境とシミュレーテッド環境の性能間のピアソン相関係数が著しく高く、MMRV（中央絶対相対分散の平均）が顕著に低く抑えられている。
• フレームワークは、視覚的分布シフトへの感受性といったポリシー行動モードを正確に再現しており、単なる性能順位付け以上の忠実度を示している。
• 「コーラの缶をつかむ」といった単一タスクポリシーに対しても、SIMPLERは低MMRVと高ピアソン相関を維持しており、データスケールを問わず有効性が確認された。
• Kruskal-Wallis検定の結果、大多数のタスクにおいて、シミュレーションの成功確率分布と実世界の分布に有意差がなく、絶対的性能シフトが最小限に抑えられていることが示された。
• 視覚マッチング評価アプローチでは、大多数のタスクで分布シフトが有意でない（p ≥ 0.05）ことが確認され、シミュレーションパイプラインのロバストネスが妥当性を確認した。
• MMRVとKruskal-Wallisの組み合わせにより、相補的なインサイトが得られた：MMRVは相対的性能整合性を測るのに対し、Kruskal-Wallisは絶対的分布一貫性を評価する。

Figure 1 : Illustration of Mean Maximum Rank Violation (MMRV, range $[0,1]$ , lower is better) and Pearson correlation coefficient (Pearson $r$ , range $[-1,1]$ , higher is better) for assessing the correlation between policy performances in real-world and simulation, as well as the overall quality