[論文レビュー] Model-checking Driven Black-box Testing Algorithms for Systems with Unspecified Components

Gaoyan Xie, Zhe Dang|arXiv (Cornell University)|Apr 19, 2004

Software Testing and Debugging Techniques参考文献 33被引用数 3

ひとこと要約

この論文では、形式的検証とテストを組み合わせることで、未指定のコンポONENTを備えたシステムの正しさを保証する、モデル・チェックイング駆動のブラックボックステスト手法を提案する。通信およびウェイトネス・グラフとして表現されたモデル・チェックイング条件からテストケースを生成することで、コンポーネントのソースコードが不要な状態で、時間的性質（CTL/LTL）の整合性を保証する、音声的かつ完全的で自動的な検証が可能になる。

ABSTRACT

Component-based software development has posed a serious challenge to system verification since externally-obtained components could be a new source of system failures. This issue can not be completely solved by either model-checking or traditional software testing techniques alone due to several reasons: 1) externally obtained components are usually unspecified/partially specified; 2)it is generally difficult to establish an adequacy criteria for testing a component; 3)components may be used to dynamically upgrade a system. This paper introduces a new approach (called {\em model-checking driven black-box testing}) that combines model-checking with traditional black-box software testing to tackle the problem in a complete, sound, and automatic way. The idea is to, with respect to some requirement (expressed in CTL or LTL) about the system, use model-checking techniques to derive a condition (expressed in communication graphs) for an unspecified component such that the system satisfies the requirement iff the condition is satisfied by the component, and which can be established by testing the component with test cases generated from the condition on-the-fly. In this paper, we present model-checking driven black-box testing algorithms to handle both CTL and LTL requirements. We also illustrate the idea through some examples.

研究の動機と目的

• 外部から取得した未指定のソフトウェアコンポーネントを統合する際のシステム正しさの検証という課題に対処すること。
• 純粋なモデル・チェックイング（コンポーネントの詳細が必要）および純粋なブラックボックステスト（カバレッジが不十分で形式的保証がない）の制限を克服すること。
• コンポーネントベースのシステムにおける時間論理的性質（CTLおよびLTL）の自動的かつ完全的・音声的な検証を可能にすること。
• コンポーネントがテスト条件を満たせば、システム全体の性質が満たされることを保証するテストケースを形式的条件から生成する方法を提供すること。
• コンポーネントの動作が展開環境によって変動する可能性がある安全至上主義のシステムにおける動的アップグレードおよび統合を支援すること。

提案手法

• CTLまたはLTLの性質が満たされるように保証する形式的条件（通信またはウェイトネス・グラフの形で表現）を、モデル・チェックイング技術を用いて導出すること。
• 未指定コンポーネントの必要とされる動作を、システム仕様から導出された有限状態のグラフ構造（通信／ウェイトネス・グラフ）として表現すること。
• これらのグラフに対して、境界付きでネストされた深さ優先探索を適用し、コンポーネントのブラックボックステスト用のテストケースを体系的に生成すること。
• 境界付きの深さでの到達可能なパスをすべて探索することで完全性を確保し、条件の完全カバレッジを保証すること。
• テストケース生成を、実行時におけるブラックボックステストと統合し、グラフの動的トリミングとテスト結果のキャッシュを可能にすることで、効率性を向上させること。
• 複数のコンポーネント、非同期通信、および制限付き無限状態系（例：時刻オートマトン）を扱えるように、アプローチを一般化すること。

実験結果

リサーチクエスチョン

• RQ1 モデル・チェックイングを用いて、コンポーネントベースのシステムにおける未指定コンポーネントの検証可能な条件をどのように導出できるか。
• RQ2 形式的手法とブラックボックステストの組み合わせにより、コンポーネントのソースコードが入手不可な状態でも、時間論理的性質の完全的かつ音声的な検証が可能か。
• RQ3 システム全体の正しさを保証するためのコンポーネント動作を符号化する通信およびウェイトネス・グラフの構造と生成プロセスはどのようなものか。
• RQ4 生成された形式的条件の完全カバレッジを維持しつつ、テストケース生成を効率的かつスケーラブルにどのように行えるか。
• RQ5 このアプローチは、複数の未指定コンポーネントや非同期相互作用を有するシステムへどの程度拡張可能か。

主な発見

• CTLおよびLTLの両方のための提案されたアルゴリズムは音声的かつ完全的であり、システムが時間的性質を満たすのは、コンポーネントが導出された条件を満たす場合に限る。
• LTLの場合、未指定コンポーネントに供給されるテストケースの最大長は、$ O(n \cdot m^2) $ で抑えられ、ここで $ n $ はホストシステムの状態数、$ m $ はコンポーネントの状態数を表す。
• CTLの場合、テストケースの長さは $ O(k \cdot n \cdot m^2) $ で抑えられ、ここで $ k $ は論理式内のCTL演算子の数を表す。
• 実行時におけるグラフのトリミングと結果キャッシュを可能にすることで、重複するテスト実行を削減する動的テストをサポートする。
• このアプローチは、複数の未指定コンポーネントを備えたシステムへ一般化可能であり、時刻オートマトンなどの制限付き無限状態モデルへも適応可能である。
• フレームワークにより、システム全体のモデル・チェックイングを必要とせず、未指定コンポーネントのテストケースを生成することで、リアルタイムシステムの検証が可能になる。