[論文レビュー] Searching publications on software testing

C.A. Middelburg|arXiv (Cornell University)|Aug 16, 2010

Software Testing and Debugging Techniques参考文献 38被引用数 17

ひとこと要約

この論文は、産業界で実践されているソフトウェアテストの形式的定式化を調査し、コードを実行し、条件を満たし、結果を観察して評価するという、中心的な実用的概念を捉える理論的枠組みや形式的定式化が存在しないことを明らかにした。研究の蓄積が数十年にわたり存在するにもかかわらず、ソフトウェアテストが他の解析手法と区別されるきめ細やかな理論的基盤が欠如しているという深刻なギャップが判明した。また、代替解析法が利用可能である場合に、なぜテストが好まれるのか、という根拠に基づく理由付けも存在しないことが示された。

ABSTRACT

This note concerns a search for publications in which the pragmatic concept of a test as conducted in the practice of software testing is formalized, a theory about software testing based on such a formalization is presented or it is demonstrated on the basis of such a theory that there are solid grounds to test software in cases where in principle other forms of analysis could be used. This note reports on the way in which the search has been carried out and the main outcomes of the search. The message of the note is that the fundamentals of software testing are not yet complete in some respects.

研究の動機と目的

• 文献に、実用的ソフトウェアテスト概念の形式的バージョンが存在するかどうかを特定すること。
• ソフトウェアテスト理論が実際のテストプロセスを的確に理解しているかどうかを評価すること。
• 他の解析手法が利用可能である状況において、なぜソフトウェアテストが好まれるのか、理論的に裏付けられた根拠があるかどうかを調査すること。
• 何十年もの実践と研究の蓄積にもかかわらず、なぜソフトウェアテストの核心的概念が概念的に未発達のままであるのかを特定すること。

提案手法

• Google Scholar、ACM Digital Library、IEEE Xplore、SpringerLink、ScienceDirect、DBLP、およびComputer Science Bibliographiesのコレクションを用いて体系的なサーチを実施した。
• 1951年以降、5年ごとの期間を対象に、全テキスト検索を用いて「program testing」と「software testing」をキーワードに、歴史的カバレッジを確保した。
• 引用ネットワークをたどって、基盤的かつ関連性の高い出版物を同定し、新たな関連出版物が得られなくなるまで繰り返し処理を実施した。
• 全テキスト検索の結果と、ジャーナルコレクションおよび参考文献へのターゲット検索の結果を比較し、網羅性を確認した。
• 出版物に、テスト概念の形式的定式化および代替解析手法との比較におけるテストの理論的正当化が含まれているかを分析した。
• 既存の理論が、テストにおけるコード実行と効果観察の本質的役割を認識しているかどうかを評価した。

実験結果

リサーチクエスチョン

• RQ1 『コード実行、条件指定、効果観察、評価』を含む、実用的ソフトウェアテスト概念を形式的に定義する電子的利用可能な出版物が存在するか？
• RQ2 既存のソフトウェアテスト理論が、他のソフトウェア解析手法と区別できる堅実な理論的基盤を備えているか？
• RQ3 他の解析手法が利用可能である状況において、なぜソフトウェアテストが代替手法よりも好まれるのか、理論的に裏付けられた根拠があるか？
• RQ4 コード実行と効果観察というテストの核心的特徴が、なぜ理論的モデルにおいて一貫して欠落しているのか？

主な発見

• 電子的利用可能な出版物において、コード実行、条件指定、効果観察、評価を含む実用的ソフトウェアテスト概念を形式的に定義するものは存在しない。
• 既存のソフトウェアテスト理論は、実践において中心的であるにもかかわらず、実行と観察の要素を組み込んでいない。
• テストがコードを実行し、結果を観察することを含むという基盤的コンセプトが、理論的発展においてすっかり忘れ去られている。たとえそのような要素を認識しているように見える理論であっても同様である。
• 代替解析手法が利用可能である場合に、なぜソフトウェアテストが好まれるのか、という根拠に基づく理論的説明は存在しない。
• 静的または形式的解析の他の形態と区別できる形式的理論は、文献に存在しない。
• ITUのRecommendation Z.500は、テストについて深く議論している少数の文書の一つであるが、その概念の形式的定式化は提供していない。