[论文解读] Model-Based Testing, Using Belief-Desire-Intentions Agents, of Control Code for Robots in Collaborative Human-Robot Interactions

Dejanira Araiza-Illan, Tony Pipe+1 more|arXiv (Cornell University)|Mar 2, 2016

Software Testing and Debugging Techniques参考文献 27被引用 3

一句话总结

本文提出使用信念-欲望-意图（BDI）智能体生成真实、类人的测试刺激，用于人机交互（HRI）仿真中的机器人控制代码。通过在ROS-Gazebo中集成BDI智能体至覆盖率驱动验证（CDV）测试框架，该方法在代码覆盖率方面表现更优，并更有效地发现隐藏的设计缺陷，优于伪随机或传统基于模型的测试方法，展示了BDI智能体在复杂HRI环境中实现智能、场景丰富测试生成的潜力。

ABSTRACT

The software of robotic assistants needs to be verified, to ensure its safety and functional correctness. Testing in simulation allows a high degree of realism in the verification. However, generating tests that cover both interesting foreseen and unforeseen scenarios in human-robot interaction (HRI) tasks, while executing most of the code, remains a challenge. We propose the use of belief-desire-intention (BDI) agents in the test environment, to increase the level of realism and human-like stimulation of simulated robots. Artificial intelligence, such as agent theory, can be exploited for more intelligent test generation. An automated testbench was implemented for a simulation in Robot Operating System (ROS) and Gazebo, of a cooperative table assembly task between a humanoid robot and a person. Requirements were verified for this task, and some unexpected design issues were discovered, leading to possible code improvements. Our results highlight the practicality of BDI agents to automatically generate valid and human-like tests to get high code coverage, compared to hand-written directed tests, pseudorandom generation, and other variants of model-based test generation. Also, BDI agents allow the coverage of combined behaviours of the HRI system with more ease than writing temporal logic properties for model checking.

研究动机与目标

• 解决在人机交互（HRI）环境中为机器人控制代码生成真实、类人测试场景的挑战。
• 提升代码覆盖率并发现传统手工编写或伪随机测试无法检测到的隐藏功能错误。
• 探索将BDI智能体作为新型形式化方法，用于复杂、动态HRI场景中的基于模型的测试生成。
• 评估BDI智能体在生成能激发机器人与环境协同行为的有意义测试序列方面的有效性。
• 将基于BDI的测试生成集成至覆盖率驱动验证（CDV）框架中，实现在仿真环境中自动化、可扩展的测试。

提出的方法

• 采用两级测试生成方法：首先通过UPPAAL中对概率时序自动机（PTA）的模型检测生成抽象测试序列，随后通过约束随机采样实现具体化。
• 在ROS-Gazebo中实现CDV测试框架，自动化执行测试生成、执行、断言检查和覆盖率收集，用于协作式桌面装配任务。
• 使用BDI智能体作为测试参与者，模拟HRI环境中的类人行为，通过建模信念、欲望和意图来生成上下文相关的测试刺激。
• 通过补充约束伪随机测试序列，增强覆盖率和鲁棒性。
• 利用智能体理论建模机器人、人类与环境之间的复杂动态交互，从而生成比静态或随机输入更真实的测试场景。
• 应用模型检测验证BDI智能体行为，确保测试序列满足功能和安全需求。

实验结果

研究问题

• RQ1 BDI智能体能否有效生成真实、类人的测试刺激，用于HRI仿真中的机器人控制代码？
• RQ2 与伪随机测试和传统基于模型的测试生成相比，基于BDI的测试生成在代码覆盖率和错误检测方面表现如何？
• RQ3 BDI智能体能否促进在协作任务中探索机器人与人类的联合行为？
• RQ4 BDI智能体在多大程度上能发现传统测试方法遗漏的机器人控制代码中未预见的设计问题？
• RQ5 将BDI智能体集成到CDV框架中，能否提升复杂HRI场景中机器人系统测试的自动化与有效性？

主要发现

• 与手工编写、伪随机及其他基于模型的测试生成技术相比，BDI智能体在相同HRI场景中显著提升了测试覆盖率和真实性。
• 使用BDI智能体发现了机器人控制代码中未被传统测试方法检测到的意外设计问题。
• 两级测试生成方法——先进行抽象模型检测，再进行具体测试具体化——为复杂机器人系统实现了高效且可扩展的测试生成。
• 与为模型检测编写时序逻辑属性相比，BDI智能体更易于建模机器人与环境的联合交互。
• CDV测试框架实现了测试执行、断言检查和覆盖率测量的自动化，简化了验证流程。
• 结果表明，BDI智能体是HRI系统中实现智能、场景驱动测试生成的实用且有效的方法。