[論文レビュー] Model-Based Testing, Using Belief-Desire-Intentions Agents, of Control Code for Robots in Collaborative Human-Robot Interactions

Dejanira Araiza-Illan, Tony Pipe+1 more|arXiv (Cornell University)|Mar 2, 2016

Software Testing and Debugging Techniques参考文献 27被引用数 3

ひとこと要約

本稿では、人間-ロボットインタラクション（HRI）シミュレーションにおけるロボット制御コードのための現実的で人間らしいテストスティミュラスを生成するために、信念-欲求-意図（BDI）エージェントの使用を提案する。ROS-Gazebo内でのカバレッジ駆動型検証（CDV）テストベンチにBDIエージェントを統合することで、擬似ランダムまたは従来のモデルベーステストよりも、より高いコードカバレッジを達成し、隠れた設計上の欠陥をより効果的に特定することができ、複雑なHRI環境における知能的でシナリオ豊富なテスト生成におけるBDIエージェントの潜在的可能性を示している。

ABSTRACT

The software of robotic assistants needs to be verified, to ensure its safety and functional correctness. Testing in simulation allows a high degree of realism in the verification. However, generating tests that cover both interesting foreseen and unforeseen scenarios in human-robot interaction (HRI) tasks, while executing most of the code, remains a challenge. We propose the use of belief-desire-intention (BDI) agents in the test environment, to increase the level of realism and human-like stimulation of simulated robots. Artificial intelligence, such as agent theory, can be exploited for more intelligent test generation. An automated testbench was implemented for a simulation in Robot Operating System (ROS) and Gazebo, of a cooperative table assembly task between a humanoid robot and a person. Requirements were verified for this task, and some unexpected design issues were discovered, leading to possible code improvements. Our results highlight the practicality of BDI agents to automatically generate valid and human-like tests to get high code coverage, compared to hand-written directed tests, pseudorandom generation, and other variants of model-based test generation. Also, BDI agents allow the coverage of combined behaviours of the HRI system with more ease than writing temporal logic properties for model checking.

研究の動機と目的

• 人間-ロボットインタラクション（HRI）環境におけるロボット制御コードのための現実的で人間らしいテストシナリオを生成する課題に対処すること。
• 手作業で書かれたテストや擬似ランダムテストでは達成できない範囲でのコードカバレッジの向上と、ロボット制御ソフトウェアにおける隠れた機能的バグの特定を目的とすること。
• 複雑で動的なHRIシナリオにおけるモデルベーステスト生成のための新規形式としてBDIエージェントの使用を検討すること。
• BDIエージェントがロボットと環境の連携動作を刺激する意味のあるテストシーケンスを生成する能力を評価すること。
• BDIベースのテスト生成をカバレッジ駆動型検証（CDV）フレームワークに統合し、シミュレーションにおける自動的でスケーラブルなテストを実現すること。

提案手法

• 2段階のテスト生成アプローチを採用：まず、UPPAALを用いて確率的時刻オートマトン（PTA）のモデルチェックにより抽象的なテストシーケンスを生成し、その後、制約付きランダムサンプリングにより具象化する。
• 協働テーブル組立タスクのためのROS-Gazebo内にCDVテストベンチを実装し、テスト生成、実行、アサーションチェック、カバレッジ収集を自動化する。
• BDIエージェントをテストエージェントとして用い、HRI環境で人間らしい行動をシミュレートし、信念、欲求、意図をモデル化することで文脈的に関連するテストスティミュラスを生成する。
• カバレッジと耐性の向上を図るために、BDIベースのテスト生成に制約付き擬似ランダムテストシーケンスを補完する。
• エージェント理論を活用して、ロボット、人間、環境間の複雑で動的な相互作用をモデル化し、静的またはランダム入力よりも現実的で洗練されたテストシナリオを実現する。
• モデルチェックを適用してBDIエージェントの動作を検証し、テストシーケンスが機能的および安全要件を満たしていることを保証する。

実験結果

リサーチクエスチョン

• RQ1 BDIエージェントは、HRIシミュレーションにおけるロボット制御コードのための現実的で人間らしいテストスティミュラスを効果的に生成できるか？
• RQ2 BDIベースのテスト生成は、擬似ランダムテストおよび従来のモデルベーステスト生成と比較して、コードカバレッジおよびバグ検出の観点でどのように異なるか？
• RQ3 BDIエージェントは、共同作業におけるロボットと人間の連携動作の探索を可能にするか？
• RQ4 BDIエージェントは、従来のテスト手法では見逃されがちなロボット制御コードにおける予期しない設計上の問題をどの程度特定できるか？
• RQ5 BDIエージェントをCDVフレームワークに統合することで、複雑なHRIシナリオにおけるロボットシステムのテストの自動化と効果性が向上するか？

主な発見

• BDIエージェントは、同じHRIシナリオにおいて、手作業で書かれたテスト、擬似ランダムテスト、および他のモデルベーステスト生成手法と比較して、顕著に高いテストカバレッジと現実性を実現した。
• BDIエージェントの使用により、従来のテスト手法では検出されなかったロボット制御コードにおける予期しない設計上の問題が特定された。
• 抽象的モデルチェックに続く具象的テストの具現化という2段階のテスト生成アプローチにより、複雑なロボットシステムに対する効果的でスケーラブルなテスト生成が可能になった。
• モデルチェックのための時系列論理的性質を記述するのと比較して、BDIエージェントはロボットと環境の連携動作のモデリングがより容易であった。
• CDVテストベンチフレームワークにより、テスト実行、アサーションチェック、カバレッジ測定が自動化され、検証プロセスが簡素化された。
• 結果として、BDIエージェントがHRIシステムにおける知的でシナリオ駆動型のテスト生成の実用的かつ効果的な形式であることが示された。