[論文レビュー] Part-X: A Family of Stochastic Algorithms for Search-Based Test Generation with Probabilistic Guarantees

Giulia Pedrielli, Tanmay Khandait+5 more|arXiv (Cornell University)|Oct 20, 2021

Software Testing and Debugging Techniques被引用数 5

ひとこと要約

Part-Xは、サイバーフィジカルシステムにおける探索ベースのテスト生成のための確率的アルゴリズム族を導入し、誤動作を引き起こす入力の存在に対して確率的保証を提供する。入力空間を適応的に分割し、ガウス過程を用いて耐性のランドスケープを推定することで、誤動作の確率を制限し、違反が発生する可能性の高い領域を同定する。これにより、統計的信頼性を伴う有限時間での安全性評価が可能になる。

ABSTRACT

Requirements driven search-based testing (also known as falsification) has proven to be a practical and effective method for discovering erroneous behaviors in Cyber-Physical Systems. Despite the constant improvements on the performance and applicability of falsification methods, they all share a common characteristic. Namely, they are best-effort methods which do not provide any guarantees on the absence of erroneous behaviors (falsifiers) when the testing budget is exhausted. The absence of finite time guarantees is a major limitation which prevents falsification methods from being utilized in certification procedures. In this paper, we address the finite-time guarantees problem by developing a new stochastic algorithm. Our proposed algorithm not only estimates (bounds) the probability that falsifying behaviors exist, but also it identifies the regions where these falsifying behaviors may occur. We demonstrate the applicability of our approach on standard benchmark functions from the optimization literature and on the F16 benchmark problem.

研究の動機と目的

• 既存の探索ベースのテスト生成手法には、テスト予算をすべて使い果たしても安全性を結論づけられないという欠陥があるため、これを是正すること。
• サイバーフィジカルシステムの入力空間に誤動作行動が存在する確率を推定するフレームワークを開発すること。
• 入力空間を違反領域、満足領域、未決定領域に分類し、不確実性を定量的に表現すること。
• 誤動作の可能性に確率的境界を提供することで、安全性認証を可能にすること。特に、誤動作入力が発見されない場合でも有効であるようにすること。

提案手法

• Part-Xは、耐性関数のゼロレベルセットを局所化するために、入力空間を部分領域に適応的に分割する。
• 各部分領域で局所的なガウス過程モデルを用いて、未サンプリング領域における耐性関数を推定する。
• アルゴリズムは各反復で分類誤差の確率的境界を維持し、誤動作体積推定の信頼性を保証する。
• サンプリングは不確実性と予想される誤動作確率に従い、誤動作入力の発生可能性が高いための領域に集中する。
• 探索と活用のバランスを取るために、ベイズ最適化の原則と統計的学習を統合する。
• 分位数に基づく誤動作体積を計算し、誤動作入力が存在する確率の推定値とする。

Figure 1: An overview of the Part-X algorithm.

実験結果

リサーチクエスチョン

• RQ1 与えられたテスト予算内で誤動作入力が発見されない場合でも、サイバーフィジカルシステムにおける誤動作入力の存在について、有限時間で確率的保証を提供できるか？
• RQ2 検出された違反が存在しない状況でも、入力空間に誤動作行動が存在する確率を推定できるか？
• RQ3 誤動作行動が最も発生しやすい特定の入力部分領域を同定でき、これにより標的的なテストや設計の強化が可能になるか？
• RQ4 限られた数のシミュレーションで、誤動作体積推定の誤差を高い信頼性で境界付ける方法は何か？

主な発見

• 高度2300のF-16ベンチマークでは、Part-Xが非ゼロの誤動作体積（例：q=0.95で9.26×10⁻⁶）を検出しており、誤動作入力が存在する高い確率を示している。
• 高度2350では、誤動作体積が不確実（ゼロを含む区間）であり、システムが安全である可能性は高いが、さらなるサンプリングが必要な不確実性を示している。
• Part-Xは入力空間における誤動作領域を正しく同定しており、分割結果（図7a）に可視化されており、標的デバッグが可能である。
• 一様なランダムサンプリングよりも、Part-Xは誤動作領域を効率的に検出する低誤動作体積推定値を達成しており、性能の向上を示している。
• 誤動作が検出されない実行（例：H₀=2350）においても、Part-Xは誤動作に正の確率を割り当てており、誤った自信ではなく不確実性を反映している。
• 分類誤差の確率的境界を提供しており、各反復で誤動作体積推定に対する統計的信頼性を確保している。

Figure 2: An example of partitioning tree generated by Part-X at iteration $k=3$ . Subregions in red are classified as violating, those in green are satisfying, the orange region is being reclassified from violating to remaining (it would be light green if remaining from satisfying).