[論文レビュー] Approximation-Refinement Testing of Compute-Intensive Cyber-Physical Models: An Approach Based on System Identification

Claudio Menghi, Shiva Nejati+2 more|arXiv (Cornell University)|Oct 7, 2019

Software Testing and Debugging Techniques参考文献 77被引用数 10

ひとこと要約

本稿では、システム同定を用いて段階的に自己適合する代理モデルを構築・精錬することで、ブラックボックステストの実行速度を向上させる、計算負荷の高いサイバーフィジカルシステム（CI-CPS）モデル向けの新規近似・精錬テストフレームワークARIsTEOを提案する。この手法により、シミュレーション時間を短縮し、より高速な代理モデルを用いたテストと、誤検出された失敗事例を用いた精錬を実施することで、ベンチマークモデルにおいてS-Taliroと比較して24%多くの要件違反を検出、31%速く検出を完了した。また、S-Taliroが失敗した産業用人工衛星モデルにおいても、3件の要件違反を正常に同定した。

ABSTRACT

Black-box testing has been extensively applied to test models of Cyber-Physical systems (CPS) since these models are not often amenable to static and symbolic testing and verification. Black-box testing, however, requires to execute the model under test for a large number of candidate test inputs. This poses a challenge for a large and practically-important category of CPS models, known as compute-intensive CPS (CI-CPS) models, where a single simulation may take hours to complete. We propose a novel approach, namely ARIsTEO, to enable effective and efficient testing of CI-CPS models. Our approach embeds black-box testing into an iterative approximation-refinement loop. At the start, some sampled inputs and outputs of the CI-CPS model under test are used to generate a surrogate model that is faster to execute and can be subjected to black-box testing. Any failure-revealing test identified for the surrogate model is checked on the original model. If spurious, the test results are used to refine the surrogate model to be tested again. Otherwise, the test reveals a valid failure. We evaluated ARIsTEO by comparing it with S-Taliro, an open-source and industry-strength tool for testing CPS models. Our results, obtained based on five publicly-available CPS models, show that, on average, ARIsTEO is able to find 24% more requirements violations than S-Taliro and is 31% faster than S-Taliro in finding those violations. We further assessed the effectiveness and efficiency of ARIsTEO on a large industrial case study from the satellite domain. In contrast to S-Taliro, ARIsTEO successfully tested two different versions of this model and could identify three requirements violations, requiring four hours, on average, for each violation.

研究の動機と目的

• 単一のシミュレーションに数時間もかかるため、計算負荷の高いサイバーフィジカルシステム（CI-CPS）モデルにおけるブラックボックステストのスケーラビリティ課題に対処すること。
• 長時間のシミュレーション時間がかかるため、従来のブラックボックステストが不適切となるCI-CPSモデルの効率的かつ効果的なテストを可能にすること。
• システム同定と近似・精錬ループを組み合わせることで、本格的なフルモデルシミュレーションへの依存を低減するフレームワークの開発。
• 公開ベンチマークと産業界の事例研究を対象に、提案手法の有効性と効率性を、最先端のツールS-Taliroと比較して評価すること。
• 衛星システムのような現実世界の複雑なCI-CPSモデルにおける、本手法の実用的適用可能性を示すこと。

提案手法

• テスト対象の元のCI-CPSモデルから入力・出力をサンプリングし、システム同定技術を用いて代理モデルを学習する。
• 代理モデルは、元のモデルの高速かつ近似されたバージョンであり、ブラックボックステストに効率的に利用可能である。
• 適合度を最適化する探索手法を用いて、代理モデルに対してブラックボックステストを実施し、要件違反を引き起こす可能性のあるテスト入力を同定する。
• 代理モデルで検出された失敗を示すテストケースは、元のモデルで再実行され、正しさの検証が行われる。
• 失敗が誤検出（すなわち、元のモデルには存在しない）である場合、新たなデータを用いて代理モデルを精錬し、精度を向上させる。
• 有効な要件違反が検出されるか、精錬が収束するまでこのプロセスを繰り返し、効率性と正しさの両立を確保する。

実験結果

リサーチクエスチョン

• RQ1 システム同定に基づく近似・精錬ループが、計算負荷の高いCPSモデルのテストに要する時間を著しく短縮できるか。
• RQ2 S-Taliroという最先端のテストツールと比較して、ARIsTEOの要件違反検出の有効性はどの程度か。
• RQ3 実行時間の観点から、ARIsTEOの違反検出効率はS-Taliroと比べてどの程度優れているか。
• RQ4 S-Taliroが失敗する産業用スケールのCI-CPSモデルにおいても、ARIsTEOは要件違反を正常に検出できるか。
• RQ5 代理モデルの精錬が、性能向上を維持したまま、失敗検出の正確性をどの程度向上できるか。

主な発見

• ARIsTEOは、5つの公開利用可能なCPSモデルにおいて、S-Taliroと比較して23.9%多くの要件違反を検出した。
• ベンチマークモデル全体で平均して、ARIsTEOはS-Taliroと比較して31.3%速く違反を検出した。
• 衛星システムを対象とした産業界の事例研究では、ARIsTEOが3件の要件違反を正常に同定した。各要件の検出には平均4時間の時間がかかっていた。
• S-Taliroは、産業界の事例研究において、各要件について同じ4時間の時間制限内にいかなる違反も検出できなかった。
• 代理モデルの生成と精錬プロセスにより、フルモデルシミュレーションの回数が顕著に削減され、全体のテスト効率が向上した。
• ARIsTEOは、複雑で現実世界のCI-CPSモデルにおいて、S-Taliroを上回る強靭性とスケーラビリティを示した。有効性と効率性の両面で優れた性能を発揮した。