[論文レビュー] AmbieGen: A Search-based Framework for Autonomous Systems Testing

Dmytro Humeniuk, Foutse Khomh+1 more|arXiv (Cornell University)|Jan 1, 2023

Software Testing and Debugging Techniques被引用数 5

ひとこと要約

AmbieGen は、自己走行車やロボットなどの自律システムのための多様で困難なテストシナリオを自動生成するために、進化的アルゴリズムを用いたオープンソースで検索ベースのフレームワークです。限られた時間予算内で障害を露呈するシナリオを効率的に特定したことで、SBST 2022 のツールコンペティションで優勝しました。モジュラーなアーキテクチャにより拡張性が高く、シミュレータとの統合も可能となっています。

ABSTRACT

Thorough testing of safety-critical autonomous systems, such as self-driving cars, autonomous robots, and drones, is essential for detecting potential failures before deployment. One crucial testing stage is model-in-the-loop testing, where the system model is evaluated by executing various scenarios in a simulator. However, the search space of possible parameters defining these test scenarios is vast, and simulating all combinations is computationally infeasible. To address this challenge, we introduce AmbieGen, a search-based test case generation framework for autonomous systems. AmbieGen uses evolutionary search to identify the most critical scenarios for a given system, and has a modular architecture that allows for the addition of new systems under test, algorithms, and search operators. Currently, AmbieGen supports test case generation for autonomous robots and autonomous car lane keeping assist systems. In this paper, we provide a high-level overview of the framework's architecture and demonstrate its practical use cases.

研究の動機と目的

• 自律システムのテストにおける膨大で高次元のテストシナリオ空間を探索する課題に対処すること。
• 障害を露呈するテストケースを生成するスケーラブルで拡張可能なフレームワークを開発すること。
• さまざまなアルゴリズム、演算子、フィットネス関数を実験できるようにすることで、検索ベースのテスト研究を支援すること。
• 安全上の重要な自律システム（例：レーンキープアシストシステム、ロボットナビゲーション）におけるテストの多様性と障害検出能力を向上させること。
• シミュレーション環境と互換性があり、新たなシステムやテスト目的に容易に拡張可能な再利用可能なオープンソースツールを提供すること。

提案手法

• Pymoo フレームワークを用いた進化的探索により、自律システムの仮想環境設定の空間を探索する。
• 道路のトポロジー、障害物の配置、動的エージェントなどの離散的環境特徴を符号化した 2 次元配列としてテストシナリオを表現する。
• 迅速なフィットネススコア計算を可能にする簡略化されたシステムモデルを用い、障害を引き起こすシナリオに向けた探索をガイドする。
• ランダムサーチ、単目的遺伝的アルゴリズム、多目的 NSGA-II などの複数の探索アルゴリズムをサポートする。
• 初期化、交叉、変異、フィットネス関数などのコンponent をモジュラーに拡張可能で、カスタムのテスト問題に適応可能である。
• （計画中）シミュレータとの統合により、生成されたシナリオの検証を可能とし、フィットネス評価にフィードバックを組み込む。

実験結果

リサーチクエスチョン

• RQ1 多様性を保つ技術は、自律システムのテストスーツにおけるカバレッジと障害検出能力をどの程度向上させるか？
• RQ2 NSGA-II や単目的 GA などの異なる探索演算子やアルゴリズムは、収束速度と障害を露呈する有効性においてどのように比較されるか？
• RQ3 ニューラルネットワークベースの自律システムにおいて、重要な障害を引き起こすシナリオに探索を誘導する最適なフィットネス関数は何か？
• RQ4 簡略化されたモデルを用いたフィットネス評価は、本物のシミュレータにおける実システムの障害を引き起こすシナリオに探索を誘導するのにどの程度有効か？
• RQ5 SCENIC などの複雑な現実世界のシナリオ仕様をサポートし、CARLA などの主要なシミュレータと統合できるか、フレームワークは拡張可能か？

主な発見

• AmbieGen は、制限時間内に自律車両のレーンキープアシストシステムに対して、最も多数の多様で障害を露呈するシナリオを生成したことで、SBST 2022 のツールコンペティションで優勝を達成した。
• NSGA-II と単目的遺伝的アルゴリズムを用いた場合、ランダムサーチに比べて障害検出能力とシナリオの多様性の両面で優れたパフォーマンスを示した。
• モジュラーなアーキテクチャにより、新たなテスト対象システム、フィットネス関数、探索演算子の統合がスムーズに行えるようになり、迅速な実験が可能になった。
• フィットネス評価に簡略化されたモデルを用いることで、計算コストを著しく削減した一方で、意味のある障害を引き起こすシナリオに探索を誘導する効果は維持された。
• Pymoo エコシステムと互換性があるため、研究者が高度な最適化アルゴリズムや比較分析機能を活用できる。
• 本ツールは、CodeOcean キャプセルと GitHub リポジトリを通じた完全な再現性を備えてオープンソース化されており、コミュニティの貢献と長期的な拡張性を促進している。