[論文レビュー] Formal Requirement Elicitation and Debugging for Testing and Verification of Cyber-Physical Systems

Adel Dokhanchi, Bardh Hoxha+1 more|arXiv (Cornell University)|Jul 8, 2016

Formal Methods in Verification参考文献 28被引用数 4

ひとこと要約

本稿は、情報物理システム（CPS）の形式的仕様のデバッグフレームワークを提示しており、計測区間時相論理（MITL）および信号時相論理（STL）の仕様における論理的不整合を検出する。自動検証、重複除去、および空虚性検出（特にシステムのトレースに対する信号の空虚性）を用いて、誤検出を低減し、テストおよび検証における誤った自信を防ぐために、早期にエラーを特定する。

ABSTRACT

A framework for the elicitation and debugging of formal specifications for Cyber-Physical Systems is presented. The elicitation of specifications is handled through a graphical interface. Two debugging algorithms are presented. The first checks for erroneous or incomplete temporal logic specifications without considering the system. The second can be utilized for the analysis of reactive requirements with respect to system test traces. The specification debugging framework is applied on a number of formal specifications collected through a user study. The user study establishes that requirement errors are common and that the debugging framework can resolve many insidious specification errors.

研究の動機と目的

• 情報物理システム（CPS）の形式的要件における仕様エラーという課題に取り組む。これは、専門家ですらも一般的に見られる。
• 抽出段階において、同義、重複、空虚性などの論理的欠陥をMITLおよびSTLの仕様で特定する。
• テストや検証の前段階で仕様の問題を早期に検出することで、無駄な作業とシステム正しさに対する誤った自信を防ぐ。
• システムのトレースを用いて、リアルタイムの仕様における空虚性検出を拡張し、論理のみでは検出できない微細な仕様エラーを明らかにする。
• ViSpecツールにデバッグフレームワークを統合し、産業界および学術分野のユーザーが正しい形式的仕様を開発できるように支援する。

提案手法

• MITLの断片のための仕様デバッグアルゴリズムを提案し、妥当性（同義または充足不能性）、重複、空虚性をチェックする。
• LTLの空虚性検出技術をリアルタイムのMITL仕様に適応し、システム信号を基準とした空虚性分析を可能にする。
• 先行条件の失敗を模倣する変異による信号の空虚性チェックを実装：各論理式に対して、先行条件を偽にした変異版を生成し、元の論理式が依然として成立するかを確認する。
• S-TaLiRoツールを用いてシステムのシミュレーションを実行し、形式的要件に対して軌道をモニタリングし、空虚性分析用のトレースを収集する。
• 実世界の事例研究から得たMITL要件を用いて、自動変速機（AT）システムのSimulinkモデルにデバッグフレームワークを適用する。
• 元の論理式と先行条件の失敗を模倣した変異論理式を満たす信号の数を比較することで、空虚性の結果を報告し、空虚な満たしを特定する。

実験結果

リサーチクエスチョン

• RQ1 形式的論理の訓練を受けたユーザーですら、同義や空虚性などの仕様エラーがどれほど頻繁に発生するのか。
• RQ2 システムの挙動に依存せずに、自動デバッグ技術がMITLおよびSTLの仕様における論理的不整合を検出できるか。
• RQ3 信号に基づく空虚性検出は、純粋な論理的分析では見えない仕様の問題をどれほど効果的に明らかにできるか。
• RQ4 システムのトレースを用いた空虚性検出は、CPSの検証におけるテストケース生成および反証の質を向上させられるか。
• RQ5 仕様デバッグの実用的影響は、CPSのテストおよび検証パイプラインにおける誤検出の削減にどの程度寄与するか。

主な発見

• 形式的論理の訓練を受けた経験豊富なユーザーですら、深刻な仕様エラーを犯しており、たとえば $\varphi=\Diamond_{[0,30]}((v>100)\Rightarrow\Box_{[0,20]}(v>100))$ は同義であり、したがって無効である。
• フレームワークは、要件 $\phi^{AT}_1$ の2000件のシステムトレースのうち1989件が空虚であることを正常に検出。
• 要件 $\phi^{AT}_2$ では、2000件中1994件が空虚であり、仕様内の条件がほとんど発動していないことが示された。
• 空虚性分析により、要件 $\phi^{AT}_3$ の307件のトレースのうちわずか97件が非空虚であった。これは、条件がほとんどまたはまったく発動していないことを示している。
• 要件 $\phi^{AT}_4$ では、2000件中1996件が空虚であり、シミュレーション中に先行条件（v ≥ 80）がほとんど満たされていなかったことが明らかになった。
• 結果として、空虚性は現実のCPS仕様において広範に見られ、検証の前段階で仕様の品質を向上させるために自動検出が不可欠であることが示された。