[论文解读] Coverage-Driven Verification - An approach to verify code for robots that directly interact with humans

Dejanira Araiza-Illan, David Western+2 more|arXiv (Cornell University)|Sep 16, 2015

Formal Methods in Verification参考文献 31被引用 20

一句话总结

本文提出了一种面向人机交互（HRI）机器人代码的覆盖率驱动验证（CDV）方法，采用基于仿真的测试平台，结合自动化测试生成、断言检查和覆盖率收集，实现系统化验证。该方法在使用ROS和Gazebo的机器人物体交接任务中，成功验证了安全性和活性要求的可行性与有效性。

ABSTRACT

Collaborative robots could transform several industries, such as manufacturing and healthcare, but they present a significant challenge to verification. The complex nature of their working environment necessitates testing in realistic detail under a broad range of circumstances. We propose the use of Coverage-Driven Verification (CDV) to meet this challenge. By automating the simulation-based testing process as far as possible, CDV provides an efficient route to coverage closure. We discuss the need, practical considerations, and potential benefits of transferring this approach from microelectronic design verification to the field of human-robot interaction. We demonstrate the validity and feasibility of the proposed approach by constructing a custom CDV testbench and applying it to the verification of an object handover task.

研究动机与目标

• 解决在人机交互（HRI）系统中验证复杂、并发的机器人控制代码的挑战。
• 通过实现系统化、可扩展的验证，在资源受限条件下克服形式化方法和手动测试的局限性。
• 开发一种实用的、自动化的HRI测试平台，集成现有机器人工具（如ROS和Gazebo）。
• 在真实仿真环境中实现对功能（活性）和安全要求的覆盖率闭合。
• 在真实世界HRI场景（机器人辅助物体交接）中，展示CDV的可行性与优势。

提出的方法

• 设计包含四个核心组件的CDV测试平台：测试生成器、驱动器、检查器和覆盖率收集器。
• 实现基于模型的、带约束的伪随机以及纯伪随机的测试生成策略，以探索多样化的系统行为。
• 在检查器中使用断言监控器，在多个抽象层次上验证要求，包括安全性和活性属性。
• 收集多种覆盖率度量：通过断言实现的需求覆盖率、代码语句覆盖率以及交叉产品覆盖率。
• 将测试平台与ROS和Gazebo集成，以在真实环境中仿真机器人的实际控制代码。
• 应用反馈机制，引导测试生成向未覆盖的需求和边界情况聚焦，尽管完全自动化反馈回路仍具挑战性。

实验结果

研究问题

• RQ1 覆盖率驱动验证（CDV）能否有效从微电子领域适配至人机交互（HRI）机器人领域？
• RQ2 如何在机器人环境中利用ROS和Gazebo等现有工具实现CDV，以达成系统化测试覆盖率？
• RQ3 基于模型、伪随机和带约束的测试生成策略组合，哪种最能平衡覆盖率与意外行为的发现？
• RQ4 基于断言的检查和多层级覆盖率度量，在HRI中支持安全性和活性要求验证的程度如何？
• RQ5 所提出的CDV测试平台在更复杂HRI任务和系统中的可扩展性和可重用性如何？

主要发现

• CDV测试平台成功验证了在ROS-Gazebo仿真环境中机器人物体交接任务的关键安全性和活性要求。
• 基于模型的测试生成高效地针对了特定需求，而伪随机生成则发现了未预期的系统行为和边界情况。
• 多种测试生成策略的组合提供了互补优势，提升了整体覆盖率并减少了盲区。
• 断言监控器实现了在不同抽象层次上的有效需求检查，支持跨系统层级的验证。
• 测试平台在仿真环境中实现了对真实机器人代码执行的可行性，支持对实际控制软件的直接验证。
• 该方法具备可扩展性和可扩展性，未来可集成至硬件在回路或人在回路仿真中。