[논문 리뷰] A Study on the Challenges of Using Robotics Simulators for Testing

Afsoon Afzal, Deborah Katz외 2명|arXiv (Cornell University)|2020. 04. 15.

Software Testing and Debugging Techniques참고 문헌 24인용 수 19

한 줄 요약

이 연구는 82명의 개발자에 대한 설문 조사 기반으로 로봇 공학 개발자가 시뮬레이션을 테스트 및 테스트 자동화에 사용할 때 겪는 과제를 조사한다. 실재성 격차, 재현 가능성 문제, 높은 자원 비용, 자동화 지원 부족 등 10가지 핵심 과제를 특정하고, 차세대 시뮬레이터가 로봇 공학의 검증 및 검수를 위한 시뮬레이션 잠재력을 최대로 발휘하기 위해 사용성, 확장성, CI/CD 파이프라인 통합 향상이 필요하다고 제안한다.

ABSTRACT

Robotics simulation plays an important role in the design, development, and verification and validation of robotic systems. Recent studies have shown that simulation may be used as a cheaper, safer, and more reliable alternative to manual, and widely used, process of field testing. This is particularly important in the context of continuous integration pipelines, where integrated automated testing is key to reducing costs while maintaining system safety. However, simulation and automated testing are not seeing the degree of widespread adoption in practice that their potential would motivate. Our goal in this paper is to develop a principled understanding of the ways developers use simulation in their process, and the challenges they face in doing so. This type of understanding can guide the development of more effective simulators and testing techniques for modern robotics development. To that end, we conduct a survey of 82 robotics developers from a diversity of backgrounds that addresses the current capabilities and limits of simulation technology in practice. We find that simulation is used by 85% of our participants for testing, and that many participants desire to use simulation as part of their test automation. We identify 10 high-level challenges that impede developers from using simulation for manual and automated testing, and general purposes. These challenges include the gap between simulation and reality, a lack of reproducibility, and considerable resource costs associated with using simulators. Finally, we outline avenues for improvement in the development of new simulators that can help simulation reach its potential as a means of verification and validation.

연구 동기 및 목표

• 로봇 공학 개발자가 현재 개발 워크플로우에서 시뮬레이션을 어떻게 사용하고 있는지 이해하기 위해.
• 시뮬레이션을 통한 테스트 및 테스트 자동화에 광범위하게 도입하는 데 걸림돌이 되는 주요 과제를 특정하기 위해.
• 실제 개발자 요구사항과 애로사항을 바탕으로 차세대 시뮬레이터 설계를 안내하기 위해.
• 로봇 공학의 검증 및 검수를 위한 더 사용자 친화적이고 신뢰성 있고 확장 가능한 시뮬레이션 도구 개발을 이끌기 위해.

제안 방법

• 다양한 조직과 경험 수준을 가진 82명의 로봇 공학 개발자 대상으로 온라인, 개방형 설문 조사를 실시하였다.
• 일반적 사용, 테스트, 테스트 자동화 맥락에서의 시뮬레이션 사용 패턴, 인식된 과제, 향후 개선 요구사항을 수집하였다.
• 시뮬레이션 도입에 영향을 미치는 10개의 고수준 과제를 특정하고 분류하기 위해 설문 응답의 주제 분석을 수행하였다.
• 기존 시뮬레이터(예: CARLA, AirSim, Ignition Gazebo, AWS RoboMaker)를 평가하여 특정 과제들과 비교해 현재 기능 수준을 기준으로 삼았다.
• 개발자 피드백과 기존 도구 분석을 바탕으로 미래 시뮬레이터의 설계 원칙을 제안하였다.

실험 결과

연구 질문

• RQ1 개발자가 일반적으로 시뮬레이션을 사용할 때 겪는 과제는 무엇인가요?
• RQ2 개발자가 테스트를 위해 시뮬레이션을 사용할 때 겪는 과제는 무엇인가요?
• RQ3 개발자가 테스트 자동화를 위해 시뮬레이션을 사용할 때 겪는 과제는 무엇인가요?
• RQ4 현존하는 시뮬레이터들이 실재성, 사용성, 자동화 지원 측면에서 개발자 요구사항과 비교해 어떻게 다른가요?

주요 결과

• 설문 조사한 개발자 중 85%가 테스트에 시뮬레이션을 사용하고 있으며, 60%는 테스트 자동화의 일부로 사용하고 있어 강한 기존 도입 수준을 보이고 있다.
• 주요 과제로는 시뮬레이션과 실제 세계 행동 간의 심각한 격차, 재현 가능성 부족, 시뮬레이션 실행에 따른 높은 자원 비용이 있다.
• 개발자들은 시뮬레이터 사용성 문제를 겪고 있으며, 급격한 학습 곡선, 부족한 문서화, 웹 인터페이스 같은 사용자 友好的 기능 부족이 문제로 지적된다.
• 자동화는 불안정한 API, 헤드리스 실행 지원 부족, 비결정적 또는 신뢰할 수 없는 시뮬레이션 결과로 인해 저해된다.
• 많은 개발자들이 높은 물리적 및 시각적 정밀도를 갖춘 복잡하고 대규모 환경을 지원하면서도 과도한 계산 비용 없이 작동하는 시뮬레이터를 원하고 있다.
• 본 연구는 세 가지 핵심 설계 지침을 도출하였다: 사용성 향상, 실재성 및 확장성 향상, CI/CD 파이프라인에 대한 강력하고 저비용 자동화 지원 확보.