[論文レビュー] About Instruction Sequence Testing

J.A. Bergstra|arXiv (Cornell University)|Jan 18, 2012

Software Testing and Debugging Techniques参考文献 24被引用数 3

ひとこと要約

本稿は、ソフトウェアテストの基礎的モデルとして、多項指令列（polinseq）を最小限の計算的抽象化として用いる、命令列テスト（polinseqテスト）の形式的理論の構築を提案する。操作的意味論、パフォーマンス指標、実行による故障検出に焦点を当てることで、従来のソフトウェアテストの概念的曖昧性を回避し、安定的で数学的に根拠のあるフレームワークを提供することを目的としている。

ABSTRACT

Software testing is presented as a so-called theme within which different authors and groups have defined different subjects each of these subjects having a different focus on testing. A uniform concept of software testing is non-existent and the space of possible coherent perspectives on software testing, each fitting within the theme, is viewed as being spanned by five dimensions, each dimension representing two opposite views with a variety of intermediate views in between. Instruction sequences are used as a simple theoretical conceptualization of computer programs. A theory of instruction sequence testing may serve as a model for a theory of software testing. Instruction sequences testing is considered a new topic for which definitions may be freely contemplated without being restricted by existing views on software testing. The problem of developing a theory of instruction sequence testing is posed. A survey is given of motivations and scenarios for developing a theory of instruction sequence testing.

研究の動機と目的

• ソフトウェアテスト分野において統一的で整合性のある理論的枠組みが欠如している現状（複数の定義や見解が競合している）を是正すること。
• ソフトウェアテスト理論の広範な枠組みのプロトタイプとして機能できる、最小限の理論的モデルとしての命令列テスト（特に polinseq テスト）を提唱すること。
• 既存のソフトウェアテスト定義における概念的混乱を解消し、明確な意味論を持つ実行可能な形式的命令列にテストを根拠づけること。
• プログラミング言語のトレンドや実装の痕跡に依存しない、安定的で数学的に形式化可能なテストフレームワークを確立すること。
• polinseq テストの理論が、現在のアプローチに欠ける明確さと正確さを提供する、実用的なプログラムテストの代替モデルとして有効であるかどうかを検討すること。

提案手法

• プログラムの最小限の形式的表現として、多項指令列（polinseqs）を用い、従来のプログラミング構文から抽象化する。
• 操作的意味論とパフォーマンス制約に基づき、故障検出を目的とした polinseq の実行としてテストを定義する。
• 最大内部遅延やステップ数制限付き実行といった、現実のテスト制約をモデル化する明確なパフォーマンス概念を導入する。
• 射影意味論と操作的意味論を組み合わせることで、故障と観察可能な障害との間の明確な因果関係を定義する。
• 2段階のアプローチを採用する：まず、理論的枠組みなしに実践的直感を得るための「ナイーブな polinseq テスト」に取り組み、その後、経験に基づいて定義を精緻化する。
• 既存のプログラミング表記に依存せず、数学的スタイルでテスト概念を形式化することで、理論的安定性を確保し、構文的トレンドから分離する。

実験結果

リサーチクエスチョン

• RQ1 広範な分野において統一的定義が欠如している中で、ソフトウェアテストのための整合的モデルとして機能する、命令列テストの形式的理論を構築することは可能か？
• RQ2 最大内部遅延やステップ数制限付き実行といったパフォーマンス指標を、命令列のテストフレームワークに正式に定義し統合する方法は何か？
• RQ3 polinseq テストの理論が、現在の分散的かつ文脈依存的なソフトウェアテストの定義に対して、安定的で数学的に根拠のある代替手段としてどの程度有効であるか？
• RQ4 理論的定義をナイーブなテスト経験の前に開発することは、正当かつ有益であると見なせるか、それとも実務的経験は必須の前提条件であるべきか？
• RQ5 polinseq の操作的意味論と射影意味論をどのように組み合わせれば、故障検出と障害因果関係を正確にモデル化できるか？

主な発見

• 命令列テスト（polinseq テスト）の理論は、ソフトウェアテストの基礎的モデルとして構築可能であり、分野内の現在の概念的混乱に対して形式的で数学的に安定した代替手段を提供する。
• 最大内部遅延やステップ数制限付き実行といった明確なパフォーマンス概念は、polinseq フレームワーク内で正式に定義可能であり、低レベルのパフォーマンステストを可能にする。
• 射影意味論と操作的意味論の組み合わせにより、各 polinseq に明確な操作的意味が与えられ、故障と障害の関係の精密な分析が可能になる。
• 理論的枠組みなしに事前に定義を設けない「ナイーブな polinseq テスト」—実践的実験—は、形式的定義への準備段階として、正当かつ価値あるものである。
• 本稿は、形式的理論としての polinseq テストは可能であり、かつ推奨されるが、実務的経験に裏付けられるべきであるものの、必ずしもそれ依赖である必要はないと結論づける。
• 提案されたフレームワークは、プログラミング言語の構文に依存しないため、プログラミングパラダイムの変化に強く、長期的な理論的安定性を確保する。