[论文解读] Model-Based, Coverage-Driven Verification and Validation of Code for Robots in Human-Robot Interactions.

Dejanira Araiza-Illan, David Western+2 more|arXiv (Cornell University)|Nov 4, 2015

Software Testing and Debugging Techniques被引用 3

一句话总结

本文提出了一种基于覆盖率的验证（CDV）方法，这是一种面向人机交互（HRI）中机器人系统的模型驱动、仿真驱动的验证与测试（V&V）方法，通过目标导向的测试生成技术，在多种环境条件下探索复杂系统行为。与传统方法相比，CDV在测试机器人代码方面展现出更高的效率和有效性，尤其是在结合模型驱动与受约束的伪随机测试生成技术时表现尤为突出。

ABSTRACT

Many industrial and social sectors, such as manufacturing and home care, could be transformed by the presence of robotic assistants. Rigorous processes of verification and validation (V&V) are required to demonstrate these robots are safe, fit for purpose, and working as intended. We propose Coverage-Driven Verification (CDV) as a systematic, goal-directed simulation-based V&V method that is capable of exploring systems of realistic detail under a broad range of environment conditions, such as those found in human-robot interaction (HRI). A CDV testbench was developed for robotic code as deployed in our HRI case study. Based on this application of CDV, we compare the merits of different automatic test generation techniques, including constrained pseudorandom and model-based approaches, in achieving thorough exploration of the system. Our results show that CDV provides an efficient and effective V&V strategy for the HRI domain.

研究动机与目标

• 为解决在安全关键型人机交互（HRI）环境中对机器人系统进行严格验证与测试（V&V）的迫切需求。
• 克服传统测试方法的局限性，实现在真实场景中对复杂机器人行为进行系统化、目标导向的探索。
• 在统一的V&V框架内，评估并比较不同自动测试生成技术（特别是受约束的伪随机测试与模型驱动方法）的有效性。
• 开发并验证一个专为实际HRI应用中部署的机器人代码量身定制的CDV测试平台。

提出的方法

• 设计一种基于覆盖率的测试平台，利用机器人行为和环境动态的正式模型来指导测试生成。
• 采用模型驱动的测试生成方法，基于预设的覆盖率目标（如状态转换或交互场景）系统性地探索系统状态。
• 整合受约束的伪随机测试以补充模型驱动方法，增强输入空间探索的多样性。
• 使用仿真环境在广泛的真实HRI条件下执行测试，包括动态的人类行为和环境变化。
• 基于系统行为和交互模式定义覆盖率度量，以衡量测试的完整性和有效性。
• 在统一框架内结合两种测试生成策略，以在验证的全面性与效率之间取得平衡。

实验结果

研究问题

• RQ1 覆盖率驱动验证（CDV）在实现对人机交互场景中机器人代码的全面探索方面有多高效？
• RQ2 在HRI系统验证的背景下，受约束的伪随机测试与模型驱动测试生成方法各自的优缺点是什么？
• RQ3 CDV在多大程度上能够发现传统测试方法所遗漏的边界情况和故障模式？
• RQ4 将模型驱动与伪随机测试相结合，如何提升复杂HRI系统中的测试覆盖率和故障检测能力？

主要发现

• CDV实现了对HRI中机器人系统的系统化、目标导向的探索，显著提升了相对于传统方法的测试覆盖率。
• 在复杂交互场景中，模型驱动的测试生成在识别关键故障模式和边界情况方面优于受约束的伪随机测试。
• 在CDV中整合两种测试生成策略，能够实现更全面且高效的机器人代码验证。
• CDV测试平台在HRI案例研究中成功识别出此前未被发现的系统行为，证明了其在实际机器人应用中的实用价值。
• 基于系统行为和交互模式推导出的覆盖率度量在量化测试完整性和指导测试生成方面表现有效。