[論文レビュー] BenchBot: Evaluating Robotics Research in Photorealistic 3D Simulation and on Real Robots

Ben Talbot, David Hall+5 more|arXiv (Cornell University)|Aug 3, 2020

Robotics and Sensor-Based Localization参考文献 17被引用数 9

ひとこと要約

BenchBot は、一貫した Python API を用いて、写真のようにリアルな 3D シミュレーションと実世界のロボットプラットフォームの両方でロボティクス研究のベンチマークを可能にする統合ソフトウェアフレームワークです。シミュレーションと実機ハードウェアの間でのスムーズな移行をサポートし、定量的フィードバック、バッチパフォーマンスプロファイリングを提供し、セマンティックシーン理解などのタスクにおける標準化された評価パイプラインを通じて再現可能性を促進します。

ABSTRACT

We introduce BenchBot, a novel software suite for benchmarking the performance of robotics research across both photorealistic 3D simulations and real robot platforms. BenchBot provides a simple interface to the sensorimotor capabilities of a robot when solving robotics research problems; an interface that is consistent regardless of whether the target platform is simulated or a real robot. In this paper we outline the BenchBot system architecture, and explore the parallels between its user-centric design and an ideal research development process devoid of tangential robot engineering challenges. The paper describes the research benefits of using the BenchBot system, including: enhanced capacity to focus solely on research problems, direct quantitative feedback to inform research development, tools for deriving comprehensive performance characteristics, and submission formats which promote sharability and repeatability of research outcomes. BenchBot is publicly available (http://benchbot.org), and we encourage its use in the research community for comprehensively evaluating the simulated and real world performance of novel robotic algorithms.

研究の動機と目的

• シミュレーションと実世界の両方をカバーする標準化され包括的な評価フレームワークの欠如に応えること。
• 一貫したインターフェースを通じてプラットフォーム固有の複雑さを抽象化することで、ロボティクス研究におけるエンジニアリングの負担を軽減すること。
• 研究者が低レベルのロボット制御や統合の課題に煩わされず、アルゴリズム開発に集中できるようにすること。
• 標準化されたタスク定義と評価パイプラインを通じて、研究結果の再現可能性と共有性を高めること。
• 多様なロボットプラットフォーム、環境、シミュレーション条件をカバーする包括的なパフォーマンスプロファイルの構築を支援すること。

提案手法

• シミュレーテッドと実ロボットプラットフォームの両方でセンサモータのインタラクションを抽象化する、シンプルで一貫した Python API を提供する。
• 強化学習と OpenAI Gym をインspired したフレームワークを用いてタスク定義を可能にし、3 つの関数（アクション選択、タスク完了検出、結果保存）のみを必要とする。
• モジュラーで拡張可能なアーキテクチャを通じて、高精度な 3D シミュレータ（例：AirSim）と実ロボットシステムを統合する。
• 複数のロボットプラットフォーム、環境、設定をスイープするためのバッチ処理スクリプト（benchbot_batch）を提供し、包括的なパフォーマンスプロファイルの生成を可能にする。
• タスク固有のメトリクスを適用するカスタマイズ可能な評価パイプライン（benchbot_eval）を提供し、自動スコアリングと比較を可能にする。
• シミュレーションと実機ハードウェアの切り替え時にもコード変更なしに、タスク実行からパフォーマンスプロファイリングに至るエンドツーエンドの評価ワークフローを可能にする。

実験結果

リサーチクエスチョン

• RQ1 写真のようにリアルなシミュレーションと実世界のロボティクスデプロイメントの間を効果的に橋渡しする統合ソフトウェアフレームワークは、ベンチマークに有効に機能するか？
• RQ2 一貫した API は、プラットフォーム間の忠実度を維持しつつ、ロボティクス研究におけるエンジニアリング負担をどの程度軽減できるか？
• RQ3 複数の環境およびロボットプラットフォームにわたる自動パフォーマンスプロファイリングは、アルゴリズムのロバストネスに関する有意義なインサイトをどの程度効果的に明らかにできるか？
• RQ4 標準化された評価と結果共有メカニズムは、ロボティクス研究における再現性と比較可能性を向上させることができるか？
• RQ5 反復的なロボティクスアルゴリズム開発において、フィードバック駆動型で定量的な評価パイプラインを使用することの実用的利点は何か？

主な発見

• BenchBot は、同じ研究コードを変更なしにシミュレーテッドと実ロボットプラットフォームの両方で実行可能であり、強力なクロスプラットフォーム互換性を示している。
• システムのバッチ処理機能により、1 つのコマンドで複数のロボットプラットフォームおよび環境条件にわたる包括的なパフォーマンスプロファイルを生成できる。
• benchbot_eval スクリプトによる定量的評価により、特定のタスクに特化した再利用可能なメトリクスがサポートされ、結果の一貫性と比較可能性が向上した。
• ユーザー中心の設計により、余計なエンジニアリング課題が軽減され、研究者がシステム統合の課題に煩わされず、コアなアルゴリズム開発に集中できるようになった。
• モジュラーなアーキテクチャにより、新しいロボットプラットフォーム、タスク、シミュレーション環境への拡張が可能であり、将来的な NVIDIA Omniverse との統合も想定している。
• タスク定義、結果フォーマット、評価手順の標準化を通じて、研究の再現可能性と共有性を促進している。