[논문 리뷰] Model-Based Testing, Using Belief-Desire-Intentions Agents, of Control Code for Robots in Collaborative Human-Robot Interactions

Dejanira Araiza-Illan, Tony Pipe외 1명|arXiv (Cornell University)|2016. 03. 02.

Software Testing and Debugging Techniques참고 문헌 27인용 수 3

한 줄 요약

이 논문은 인간-로봇 상호작용(HRI) 시뮬레이션에서 로봇 제어 코드를 위한 현실적이고 인간 같은 테스트 자극을 생성하기 위해 신념-욕망-의도(Belief-Desire-Intention, BDI) 에이전트를 사용하는 것을 제안한다. ROS-Gazebo 내에서 커버리지 기반 검증(Coverage-Driven Verification, CDV) 테스트베치에 BDI 에이전트를 통합함으로써, 허위 난수 또는 전통적인 모델 기반 테스팅보다 더 높은 코드 커버리지와 숨겨진 설계 결함 탐지 능력을 확보하였으며, 이는 복잡한 HRI 환경에서 지능적이고 시나리오 기반의 테스트 생성에 있어 BDI 에이전트의 잠재력을 입증한다.

ABSTRACT

The software of robotic assistants needs to be verified, to ensure its safety and functional correctness. Testing in simulation allows a high degree of realism in the verification. However, generating tests that cover both interesting foreseen and unforeseen scenarios in human-robot interaction (HRI) tasks, while executing most of the code, remains a challenge. We propose the use of belief-desire-intention (BDI) agents in the test environment, to increase the level of realism and human-like stimulation of simulated robots. Artificial intelligence, such as agent theory, can be exploited for more intelligent test generation. An automated testbench was implemented for a simulation in Robot Operating System (ROS) and Gazebo, of a cooperative table assembly task between a humanoid robot and a person. Requirements were verified for this task, and some unexpected design issues were discovered, leading to possible code improvements. Our results highlight the practicality of BDI agents to automatically generate valid and human-like tests to get high code coverage, compared to hand-written directed tests, pseudorandom generation, and other variants of model-based test generation. Also, BDI agents allow the coverage of combined behaviours of the HRI system with more ease than writing temporal logic properties for model checking.

연구 동기 및 목표

• 로봇 제어 코드를 위한 인간-로봇 상호작용(HRI) 환경에서 현실적이고 인간 같은 테스트 시나리오를 생성하는 데 도전하는 것.
• 수작업 또는 허위 난수 테스트로는 불가능한 수준을 초월해 로봇 제어 소프트웨어의 코드 커버리지 향상과 숨겨진 기능 버그 탐지.
• 복잡하고 동적인 HRI 시나리오에서 모델 기반 테스트 생성을 위한 새로운 형식으로 BDI 에이전트의 사용 탐색.
• 로봇과 환경의 병합된 행동을 자극하는 의미 있는 테스트 시퀀스를 생성하는 데 BDI 에이전트의 효과성 평가.
• 자동화되고 확장 가능한 시뮬레이션 테스트를 위한 커버리지 기반 검증(Coverage-Driven Verification, CDV) 프레임워크에 BDI 기반 테스트 생성 통합.

제안 방법

• 모델 체킹을 통해 확률적 타임드 아우토마타(Probabilistic Timed Automata, PTA)를 분석하여 추상적 테스트 시퀀스를 생성한 후, 제약 조건이 있는 난수 샘플링을 통해 이를 구체화하는 이중 단계 테스트 생성 접근 방식 적용.
• 협동적 테이블 조립 작업을 대상으로 하여 ROS-Gazebo에서 자동화된 테스트 생성, 실행, 어설션 체킹 및 커버리지 수집을 수행하는 CDV 테스트베치 구현.
• BDI 에이전트를 테스트 주체로 활용하여 HRI 환경에서 인간 같은 행동을 시뮬레이션하고, 신념, 욕망, 의도를 모델링하여 맥락에 맞는 테스트 자극 생성.
• 커버리지와 강건성 향상을 위해 BDI 기반 테스트 생성에 제약 조건이 있는 허위 난수 테스트 시퀀스를 보완적으로 활용.
• 에이전트 이론을 활용해 로봇, 인간, 환경 간의 복잡하고 동적인 상호작용을 모델링함으로써 정적 또는 난수 입력보다 더 현실적인 테스트 시나리오 제공.
• BDI 에이전트 행동을 검증하고 테스트 시퀀스가 기능적 및 안전성 요구사항을 충족하는지 보장하기 위해 모델 체킹 적용.

실험 결과

연구 질문

• RQ1 BDI 에이전트는 HRI 시뮬레이션에서 로봇 제어 코드를 위한 현실적이고 인간 같은 테스트 자극을 효과적으로 생성할 수 있는가?
• RQ2 코드 커버리지와 버그 탐지 측면에서 BDI 기반 테스트 생성은 허위 난수 및 전통적인 모델 기반 테스트 생성 방식보다 어떻게 비교되는가?
• RQ3 BDI 에이전트는 협업 작업에서 로봇과 인간 간의 병합된 행동 탐색을 가능하게 하는가?
• RQ4 BDI 에이전트는 기존 테스트 방법으로는 발견되지 않는 로봇 제어 코드의 예상치 못한 설계 문제를 어느 정도 드러내는가?
• RQ5 BDI 에이전트를 CDV 프레임워크에 통합함으로써 복잡한 HRI 환경에서 로봇 시스템의 테스트 자동화 및 효과성 향상이 가능한가?

주요 결과

• 동일한 HRI 시나리오에서 BDI 에이전트는 수작업, 허위 난수, 다른 모델 기반 테스트 생성 기법 대비 훨씬 높은 테스트 커버리지와 현실성 향상을 이룩하였다.
• BDI 에이전트의 활용으로 기존 테스트 방법으로는 탐지되지 않았던 로봇 제어 코드의 예상치 못한 설계 결함이 발견되었다.
• 추상적 모델 체킹 후 구체적 테스트로의 변환을 거치는 이중 단계 테스트 생성 접근 방식은 복잡한 로봇 시스템에 대한 효과적이고 확장 가능한 테스트 생성을 가능하게 하였다.
• 모델 체킹을 위한 시간적 논리 성질를 기술하는 것보다 BDI 에이전트를 활용해 로봇-환경 상호작용을 더 쉽게 모델링할 수 있었다.
• CDV 테스트베치 프레임워크는 자동화된 테스트 실행, 어설션 체킹 및 커버리지 측정을 가능하게 하여 검증 프로세스를 단순화하였다.
• 결과적으로 BDI 에이전트는 HRI 시스템에서 지능적이고 시나리오 중심의 테스트 생성을 위한 실용적이고 효과적인 형식임을 입증하였다.