[논문 리뷰] Model-Based, Coverage-Driven Verification and Validation of Code for Robots in Human-Robot Interactions.

Dejanira Araiza-Illan, David Western외 2명|arXiv (Cornell University)|2015. 11. 04.

Software Testing and Debugging Techniques인용 수 3

한 줄 요약

이 논문은 인간-로봇 상호작용(HRI) 환경에서 로봇 시스템을 위한 모델 기반, 시뮬레이션 기반 검증 및 검토(V&V) 방법인 커버리지 기반 검증(CDV)을 제안한다. 목표 지향적 테스트 생성 기법을 활용해 다양한 환경 조건 하에서 복잡한 시스템 행동을 탐색한다. CDV는 전통적인 방법에 비해 로봇 코드 테스팅의 효율성과 효과성에서 뛰어난 성능을 보이며, 특히 모델 기반 및 제약 조건이 있는 가짜 랜덤 테스트 생성 기법을 융합함으로써 성능을 향상시킨다.

ABSTRACT

Many industrial and social sectors, such as manufacturing and home care, could be transformed by the presence of robotic assistants. Rigorous processes of verification and validation (V&V) are required to demonstrate these robots are safe, fit for purpose, and working as intended. We propose Coverage-Driven Verification (CDV) as a systematic, goal-directed simulation-based V&V method that is capable of exploring systems of realistic detail under a broad range of environment conditions, such as those found in human-robot interaction (HRI). A CDV testbench was developed for robotic code as deployed in our HRI case study. Based on this application of CDV, we compare the merits of different automatic test generation techniques, including constrained pseudorandom and model-based approaches, in achieving thorough exploration of the system. Our results show that CDV provides an efficient and effective V&V strategy for the HRI domain.

연구 동기 및 목표

• 안전이 중요한 인간-로봇 상호작용(HRI) 환경에서 로봇 시스템의 철저한 검증 및 검토(V&V)가 필수적인 요구사항을 해결하기 위해.
• 기존의 테스팅 기법의 한계를 극복하여 현실적인 시나리오에서 복잡한 로봇 행동을 체계적이고 목표 지향적으로 탐색할 수 있도록 하기 위해.
• 통합된 V&V 프레임워크 내에서 제약 조건이 있는 가짜 랜덤 테스트 생성과 모델 기반 접근 방식을 포함한 다양한 자동 테스트 생성 기법의 효과성을 평가하고 비교하기 위해.
• 실제 HRI 애플리케이션에 구현된 로봇 코드에 특화된 CDV 테스트베치를 개발하고 검증하기 위해.

제안 방법

• 로봇 행동 및 환경 역학의 형식적 모델을 활용해 테스트 생성을 이끄는 커버리지 기반 테스트베치 설계.
• 정의된 커버리지 목표(예: 상태 전이 또는 상호작용 시나리오)에 기반해 체계적으로 시스템 상태를 탐색하는 모델 기반 테스트 생성 활용.
• 모델 기반 접근 방식을 보완하기 위해 제약 조건이 있는 가짜 랜덤 테스트를 통합하여 입력 공간 탐색의 다양성을 증가.
• 다이나믹한 인간 행동과 환경 변동성을 포함한 다양한 현실적인 HRI 조건에서 테스트를 실행하기 위해 시뮬레이션 환경 활용.
• 시스템 행동 및 상호작용 패턴을 바탕으로 커버리지 메트릭스 정의하여 테스트의 완전성과 효과성을 측정.
• 모델 기반 및 가짜 랜덤 테스트 생성 전략을 통합된 프레임워크 내에서 융합하여 V&V의 철저성과 효율성의 균형을 확보.

실험 결과

연구 질문

• RQ1 커버리지 기반 검증(CDV)은 인간-로봇 상호작용 시나리오에서 로봇 코드의 포괄적인 탐색에 얼마나 효과적인가?
• RQ2 HRI 시스템 검증의 맥락에서 제약 조건이 있는 가짜 랜덤 테스트 생성과 모델 기반 테스트 생성 방식의 상대적 강점과 약점은 무엇인가?
• RQ3 CDV는 기존의 테스팅 기법이 놓치는 엣지 케이스와 고장 모드를 얼마나 잘 발견할 수 있는가?
• RQ4 모델 기반 및 가짜 랜덤 테스트의 통합은 복잡한 HRI 시스템에서 테스트 커버리지와 결함 탐지 능력을 얼마나 향상시키는가?

주요 결과

• CDV는 HRI 환경에서 로봇 시스템의 체계적이고 목표 지향적인 탐색을 가능하게 하여 기존의 방법에 비해 훨씬 높은 테스트 커버리지 수준을 달성한다.
• 모델 기반 테스트 생성은 복잡한 상호작용 시나리오에서 임계적인 고장 모드와 엣지 케이스를 식별하는 데 제약 조건이 있는 가짜 랜덤 테스트보다 뛰어난 성능을 보인다.
• CDV 내에서 두 가지 테스트 생성 전략을 융합함으로써 로봇 코드의 보다 포괄적이고 효율적인 검증이 가능해진다.
• CDV 테스트베치는 HRI 사례 연구에서 이전에 발견되지 않은 시스템 행동을 성공적으로 탐지하여 실제 로봇 응용 분야에서의 실용적 가치를 입증했다.
• 시스템 행동 및 상호작용 패턴에서 유도된 커버리지 메트릭스는 테스트 완전성의 정량화 및 테스트 생성의 안내에 효과적이었다.