[論文レビュー] A Survey of Algorithms for Black-Box Safety Validation.

Anthony Corso, Robert J. Moss+3 more|arXiv (Cornell University)|May 6, 2020

Software Testing and Debugging Techniques参考文献 90被引用数 40

ひとこと要約

本論文は、形式的検証が非現実的で、実世界でのテストが危険な複雑なシステムにおいて、効率的な偽棄却、障害モードの同定、障害確率推定を可能にするために、ブラックボックス安全性検証の最先端のアルゴリズムを調査する。主な分野は最適化、強化学習、パスプランニング、重要度サンプリングである。

ABSTRACT

Autonomous and semi-autonomous systems for safety-critical applications require rigorous testing before deployment. Due to the complexity of these systems, formal verification may be impossible and real-world testing may be dangerous during development. Therefore, simulation-based techniques have been developed that treat the system under test as a black box during testing. Safety validation tasks include finding disturbances to the system that cause it to fail (falsification), finding the most-likely failure, and estimating the probability that the system fails. Motivated by the prevalence of safety-critical artificial intelligence, this work provides a survey of state-of-the-art safety validation techniques with a focus on applied algorithms and their modifications for the safety validation problem. We present and discuss algorithms in the domains of optimization, path planning, reinforcement learning, and importance sampling. Problem decomposition techniques are presented to help scale algorithms to large state spaces, and a brief overview of safety-critical applications is given, including autonomous vehicles and aircraft collision avoidance systems. Finally, we present a survey of existing academic and commercially available safety validation tools.

研究の動機と目的

• 形式的検証が非現実的で、実世界でのテストが危険な安全上の重要な自律システムの検証の課題に対処する。
• 理論的形式主義よりも実用的技術に重点を置いた、ブラックボックス安全性検証に特化した応用アルゴリズムの包括的サーベイを提供する。
• 大規模な状態空間に対してスケーラブルな安全性検証を可能にするために、問題分解技術を活用する。
• 研究者や実務家が適切な検証フレームワークを選択できるように、学術的および商業的ツールのサーベイを行う。
• 自律車両や航空機の衝突回避システムなどの実世界の応用に焦点を当て、理論的手法を実際の文脈に根ざした形で具体化する。

提案手法

• システムをブラックボックスとして扱い、障害を引き起こす悪意のある入力を探索する最適化ベースの手法を採用する。
• 複雑で高次元の入力空間を効率的かつ体系的に探索するため、パスプランニングアルゴリズムを統合する。
• 制限付き探索のもとで障害の発生確率を最大化する悪意のあるポリシーを学習するために強化学習を活用する。
• まれだが重要な障害事象に注目することで、障害確率推定の統計的効率を向上させるために重要度サンプリングを適用する。
• 状態空間の分割やモジュラー化などの問題分解戦略を用いて、大規模で複雑なシステムへの安全性検証アルゴリズムのスケーリングを実現する。
• 最適化、強化学習、パスプランニング、重要度サンプリングといった複数のアルゴリズムファミリーを統合することで、安全性検証の堅牢性とカバレッジを向上させる。

実験結果

リサーチクエスチョン

• RQ1 安全上の重要なシステムにおけるブラックボックス安全性検証に最も効果的なアルゴリズムファミリーは何か？
• RQ2 最適化と強化学習は、障害発見のための高次元入力空間をどのように効率的に探索できるか？
• RQ3 パスプランニングと重要度サンプリングは、障害確率推定の効率性と正確性をどのように向上させるか？
• RQ4 問題分解技術は、大規模な状態空間への安全性検証をどのようにスケーリングできるか？
• RQ5 ツールリングにおける現在のギャップは何か？ 既存の学術的および商業的ツールは、実用的な安全性検証をどのように支援または制限するか？

主な発見

• 勾配フリーまたは進化的な戦略を用いる最適化ベースの手法は、障害を引き起こす悪意のある入力を特定することで、偽棄却に対して有効である。
• 強化学習のアプローチは、複雑な環境において障害誘発行動を体系的に探索する悪意のあるポリシーを学習できる。
• 重要度サンプリングは、まれだが高インパクトな障害シナリオに注目することで、障害確率推定の統計的効率を顕著に向上させる。
• 状態空間の抽象化やモジュラー検証といった問題分解技術は、高次元入力を有する大規模システムへのスケーラビリティを可能にする。
• 安全性検証用の学術的および商業的ツールは存在するが、ツール間の相互運用性、自動化、リアルタイムまたは組み込みシステム検証への対応において顕著なギャップが残っている。
• 最適化、強化学習、パスプランニング、重要度サンプリングといった複数のアルゴリズムファミリーの統合は、単一のアプローチに比べてより堅牢で包括的な安全性検証を実現する。