[論文レビュー] ROS-PyBullet Interface: A Framework for Reliable Contact Simulation and Human-Robot Interaction

Christopher E. Mower, Theodoros Stouraitis+8 more|arXiv (Cornell University)|Oct 13, 2022

Robot Manipulation and Learning被引用数 7

ひとこと要約

本論文では、ロボットオペレーティングシステム（ROS）とPyBullet物理シミュレータを接続するフレームワーク「ROS-PyBullet Interface」を提案する。このフレームワークにより、接触に富んだロボットタスクにおける信頼性の高い高精度な接触および衝撃シミュレーションが可能となり、学習済みポリシーをシミュレーションから実機にスムーズに移行可能となる。また、複数のヒューマンロボットインタラクション（HRI）インターフェースを統合し、複雑な操作タスクにおける機械学習のためのデータ収集を可能にする。

ABSTRACT

Reliable contact simulation plays a key role in the development of (semi-)autonomous robots, especially when dealing with contact-rich manipulation scenarios, an active robotics research topic. Besides simulation, components such as sensing, perception, data collection, robot hardware control, human interfaces, etc. are all key enablers towards applying machine learning algorithms or model-based approaches in real world systems. However, there is a lack of software connecting reliable contact simulation with the larger robotics ecosystem (i.e. ROS, Orocos), for a more seamless application of novel approaches, found in the literature, to existing robotic hardware. In this paper, we present the ROS-PyBullet Interface, a framework that provides a bridge between the reliable contact/impact simulator PyBullet and the Robot Operating System (ROS). Furthermore, we provide additional utilities for facilitating Human-Robot Interaction (HRI) in the simulated environment. We also present several use-cases that highlight the capabilities and usefulness of our framework. Please check our video, source code, and examples included in the supplementary material. Our full code base is open source and can be found at https://github.com/cmower/ros_pybullet_interface.

研究の動機と目的

• 信頼性の高い接触シミュレータ（例：PyBullet）とROSエコシステムの間の統合不足を解消し、学習済みポリシーを実機ロボットに展開するのを妨げる要因を排除すること。
• ピushing、グリッピング、コマニピュレーションなどの接触に富んだ操作タスクにおける機械学習のためのスケーラブルなデータ収集を可能にすること。
• ハプティクスデバイス、6次元マウス、モーションキャプチャスーツを含む、多様なヒューマンロボットインタラクション（HRI）モダリティをサポートし、リアルな遠隔操作およびデモンストレーション収集を可能にすること。
• ROSベースの制御パイプラインを用いて、シミュレーションから実ロボットハードウェアへの安全でモジュラーな制御ポリシー移行を促進すること。
• 逆運動学、モーションプランニング、およびモデル予測制御（MPC）をサポートする拡張可能でモジュラーなソフトウェアアーキテクチャを提供し、アルゴリズム開発を加速すること。

提案手法

• PyBulletを主要な物理エンジンとして使用するROS埋め込みフレームワークを実装し、接触および衝撃モデリングに正確な一般化座標形式を活用する。
• クラス階層とROSノードを用いたモジュラーなシステムを設計し、拡張性を確保。これにより、KUKA IIWA、Nextage、Kinovaなどの多様なロボットやHRIデバイスとの統合が可能となる。
• キーボード、マウス、ジョイスティック、6次元マウス、ハプティクスデバイス（例：HaptX、6次元マウス）、Xsensモーションキャプチャスーツを含む、複数のHRIインターフェースを統合し、リアルタイムでの人間による制御（人間を含む制御）を可能にする。
• ROSベースの制御インターフェースを通じて、学習済みの制御ターゲットを実ロボットのコマンドにマッピング可能にし、組み込みのジョイント制限およびトルク制限チェックにより安全な動作を実現する。
• ROS互換モジュールを統合し、モデル予測制御（MPC）および逆運動学（IK）をサポートすることで、制御の正確性と計画能力を向上させる。
• Pythonを実装言語として採用し、迅速なプロトタイピングと機械学習エコシステムとの互換性を確保。実験では、200 Hzまで性能が妥当であることが確認された。

実験結果

リサーチクエスチョン

• RQ1 信頼性の高い接触シミュレーションフレームワークを、ROSエコシステムに効果的に統合するにはどうすればよいか？ これにより、エンドツーエンドのロボティクス学習および制御パイプラインが実現可能となるか？
• RQ2 シミュレーション内で多様なHRIインターフェースを用いて収集されたヒューマンデモンストレーションは、現実世界の接触に富んだ操作タスクにおける強力なポリシーの学習にどの程度活用可能か？
• RQ3 200 Hzで高精度な物理シミュレーションを実行する際、PythonベースのROSインターフェースの性能および遅延特性はどのようなものか？
• RQ4 PyBulletで学習されたポリシーは、ROS-PyBulletインターフェースを介して実ロボットハードウェアにどの程度効果的に移行可能か？
• RQ5 シミュレーション、HRI、実ロボット制御の統合フレームワークにおいて、モularity、拡張性、相互運用性を実現するための主要な設計原則は何か？

主な発見

• ROS-PyBullet Interfaceは、PyBulletの一般化座標形式を活用した完全な物理シミュレーションを実現し、接触に富んだ複雑なシナリオにおいて、GazeboのBulletバックエンドなど従来のROS互換シミュレータを上回る接触および衝撃モデリングの正確性を示した。
• 200 Hzまでリアルタイムでシミュレーションが実行可能であり、観察可能な遅延は発生しなかった。これは、Pythonを用いてもリアルタイム制御および学習アプリケーションに適していることを裏付けている。
• ハプティクスデバイスやモーションキャプチャスーツを含む複数のHRIモダリティが正常に統合され、シミュレーション内でのリアルなヒューマンデモンストレーションおよび力覚フィードバックが可能となった。
• ROSを介した直接的なポリシー移行が可能であり、ジョイント制限およびトルク制限の組み込みチェックにより、安全な動作が保証された。
• 本システムは、複数の最近の研究において採用されており、ダイアディックコマニピュレーション、ピッシャー、ロボティクス手術に関する研究を含む。これにより、実用性および再利用可能性が実証された。
• GitHub（github.com/cmower/ros_pybullet_interface）にてLGPLライセンスでオープンソースリリースされ、包括的なドキュメンテーション、例、ROS Noeticのサポートを備えることで、広範なコミュニティの採用と拡張性が達成された。