[論文レビュー] Towards a Benchmark and a Comparison Framework for Combinatorial Interaction Testing of Software Product Lines

Roberto E. Lopez-Herrejon, Javier Ferrer+4 more|arXiv (Cornell University)|Jan 21, 2014

Advanced Software Engineering Methodologies参考文献 27被引用数 10

ひとこと要約

本稿では、ソフトウェア製品線（SPLs）における組合せ相互作用テスト（CIT）のための19の特徴モデルのベンチマークを提案し、Perrouinらの比較フレームワークをCASA、ICPL、PGSの3つのCITアルゴリズムを用いて評価する。主な貢献は、既存のフレームワークにおける制限を特定することであり、特に未選択の特徴を無視する類似度メトリクスと、タプル頻度の集約的明確性の欠如に起因するものである。一方、CASAは最小のテストスイートを生成し、ICPLは最速かつ最高の製品の相違度を示す。

ABSTRACT

As Software Product Lines (SPLs) are becoming a more pervasive development practice, their effective testing is becoming a more important concern. In the past few years many SPL testing approaches have been proposed, among them, are those that support Combinatorial Interaction Testing (CIT) whose premise is to select a group of products where faults, due to feature interactions, are more likely to occur. Many CIT techniques for SPL testing have been put forward; however, no systematic and comprehensive comparison among them has been performed. To achieve such goal two items are important: a common benchmark of feature models, and an adequate comparison framework. In this research-in-progress paper, we propose 19 feature models as the base of a benchmark, which we apply to three different techniques in order to analyze the comparison framework proposed by Perrouin et al. We identify the shortcomings of this framework and elaborate alternatives for further study.

研究の動機と目的

• ソフトウェア製品線（SPLs）における組合せ相互作用テスト（CIT）手法の体系的評価のための標準化された特徴モデルベンチマークを確立すること。
• Perrouinらが提案したCITアルゴリズムの評価フレームワークの妥当性と有効性を評価すること。
• 類似度とタプル頻度の両メトリクスにおける既存の評価指標の欠陥を特定し、今後の改善を導くこと。
• より多くの特徴モデルを統合し、選定基準を洗練させることで、今後の研究の基盤を提供すること。

提案手法

• 著者らは、さまざまな構造的複雑性を反映する19の多様な特徴モデルを収集し、SPLテストのための標準化されたベンチマークとして整備した。
• このベンチマークを用いて、CASA、ICPL、PGSの3つのCITアルゴリズムを、ペairワイズテストに焦点を当てて評価した。
• Perrouinらの比較フレームワークを用い、アルゴリズムの評価は3つの指標に基づいた：サイズ（テストスイートの大きさ）、パフォーマンス（実行時間）、類似度（製品の相違度）。
• タプル頻度は、次の式を用いて計算された：$ \frac{1}{|TS|} \sum_{ts \in TS} \frac{ocurrence(ts,tCA)}{|tCA|} $。
• 差の統計的有意性は、ベンチマーク全体でのアルゴリズム性能を比較するための非パラメトリック検定 $ \hat{A}_{12} $ を用いて評価した。
• 理論的分析により、平均タプル頻度が特徴モデルの構造に依存せず、特徴数と有効なtセット数にのみ依存することが確認された。

実験結果

リサーチクエスチョン

• RQ1 Perrouin らの比較フレームワークは、SPL における CIT アルゴリズムの評価においてどの程度有効であるか？
• RQ2 特に未選択の特徴を処理する際、フレームワークの類似度メトリクスにどのような制限があるか？
• RQ3 異なるアルゴリズム間で、タプル頻度メトリクスは集約的指標としてどの程度機能するか？
• RQ4 どの CIT アルゴリズムが最小のテストスイートを生成し、最も高速に実行され、最も相違度の高い製品を生成するか？
• RQ5 ベンチマークの特徴モデルは、現実のSPLの複雑さと多様性をどの程度反映しているか？

主な発見

• CASAは、すべての特徴モデルにおいて最小のテストスイートを生成し、テストケースの削減において高い効率性を示した。
• ICPLは実行時間の観点から最も速く、テスト生成における優れたパフォーマンスを示した。
• ICPLは類似度メトリクスによる測定でも最も相違度の高い製品を生成したため、多様な特徴組み合わせのカバーが優れていた。
• Perrouinフレームワークの類似度メトリクスは、製品に選択されない特徴を考慮していないため、歪んだまたは誤解を招く比較を引き起こす可能性がある。
• タプル頻度メトリクスは、個々のタプルごとに定義されるが、異なるテストスイート間で一貫して解釈できないため、集約的指標としての明確性に欠ける。
• 理論的分析により、平均タプル頻度が特徴数と有効なtセット数にのみ依存し、特定の特徴モデルの構造とは無関係であることが確認された。