[論文レビュー] A Study on the Challenges of Using Robotics Simulators for Testing

Afsoon Afzal, Deborah Katz+2 more|arXiv (Cornell University)|Apr 15, 2020

Software Testing and Debugging Techniques参考文献 24被引用数 19

ひとこと要約

本研究は、82名の実務者を対象としたアンケートに基づき、ロボティクス開発者がテストおよびテスト自動化にシミュレーションを使用する際の課題を調査している。10の主要な課題—現実性のギャップや再現性の問題、高いリソースコスト、自動化支援の不足など—を特定し、次世代のシミュレータが使いやすさ、スケーラビリティ、CI/CDパイプラインとの統合性を向上させることで、ロボティクスの検証・確認におけるシミュレーションの潜在能力を最大限に引き出す必要があると提言している。

ABSTRACT

Robotics simulation plays an important role in the design, development, and verification and validation of robotic systems. Recent studies have shown that simulation may be used as a cheaper, safer, and more reliable alternative to manual, and widely used, process of field testing. This is particularly important in the context of continuous integration pipelines, where integrated automated testing is key to reducing costs while maintaining system safety. However, simulation and automated testing are not seeing the degree of widespread adoption in practice that their potential would motivate. Our goal in this paper is to develop a principled understanding of the ways developers use simulation in their process, and the challenges they face in doing so. This type of understanding can guide the development of more effective simulators and testing techniques for modern robotics development. To that end, we conduct a survey of 82 robotics developers from a diversity of backgrounds that addresses the current capabilities and limits of simulation technology in practice. We find that simulation is used by 85% of our participants for testing, and that many participants desire to use simulation as part of their test automation. We identify 10 high-level challenges that impede developers from using simulation for manual and automated testing, and general purposes. These challenges include the gap between simulation and reality, a lack of reproducibility, and considerable resource costs associated with using simulators. Finally, we outline avenues for improvement in the development of new simulators that can help simulation reach its potential as a means of verification and validation.

研究の動機と目的

• ロボティクス開発者が現在の開発ワークフローでどのようにシミュレーションを使用しているかを理解すること。
• シミュレーションをテストおよびテスト自動化に広く採用するのを妨げる主な課題を同定すること。
• 実際の開発者のニーズと課題に基づいて、次世代シミュレータの設計を支援すること。
• ロボティクスの検証・確認のためのより使いやすく、信頼性が高く、スケーラブルなシミュレーションツールの開発を支援すること。

提案手法

• 多様な組織および経験レベルの82名のロボティクス開発者を対象としたオンラインで開放的なアンケートを実施した。
• 一般使用、テスト、テスト自動化の文脈におけるシミュレーション使用パターン、認識されている課題、望ましい改善点に関するデータを収集した。
• テーマ分析を用いて、シミュレーションの採用に影響を与える10の高レベルの課題を特定・分類した。
• 現存するシミュレータ（例：CARLA、AirSim、Ignition Gazebo、AWS RoboMaker）を評価し、同定された課題と照らして現在の機能をベンチマークした。
• 開発者からのフィードバックおよび既存ツールの分析に基づき、将来のシミュレータに向けた設計原則を提言した。

実験結果

リサーチクエスチョン

• RQ1 開発者が一般用途でシミュレーションを使用する際に直面する課題は何か？
• RQ2 開発者がテストにシミュレーションを使用する際に直面する課題は何か？
• RQ3 開発者がテスト自動化にシミュレーションを使用する際に直面する課題は何か？
• RQ4 現行のシミュレータは、リアルリズム、使いやすさ、自動化支援の観点から開発者のニーズと比較してどの程度適合しているか？

主な発見

• 調査対象の85％がテストにシミュレーションを使用しており、60％がテスト自動化の一部として使用していることから、既に広範な採用が確認された。
• 主な課題には、シミュレーションと現実世界の挙動の間の顕著なギャップ、再現性の欠如、シミュレーション実行にかかる高いリソースコストが含まれる。
• 開発者は、急激な学習曲線、不十分なドキュメント、Webインターフェースなどのユーザーフレンドリーな機能の欠如など、シミュレータの使いやすさの難しさを報告している。
• 自動化は、不安定なAPI、ヘッドレス実行のサポート不足、および非決定的または不安定なシミュレーション結果によって妨げられている。
• 多くの開発者が、過度な計算コストを伴わずに、高精度な物理的および視覚的忠実度を持つ複雑で大規模な環境をサポートするシミュレータを望んでいる。
• 本研究では、以下の3つの設計の核心的要請を同定した：使いやすさの向上、リアルリズムおよびスケーラビリティの強化、CI/CDパイプライン向けに堅牢で低コストな自動化の実現。