[論文レビュー] Improving CASA Runtime Performance by Exploiting Basic Feature Model Analysis

Evelyn Nicole Haslinger, Roberto E. Lopez-Herrejon+1 more|arXiv (Cornell University)|Nov 28, 2013

Advanced Software Engineering Methodologies参考文献 21被引用数 6

ひとこと要約

本論文は、ソフトウェア製品ライン（SPLs）におけるt-wise被覆配列（tCA）の生成を目的としたシミュレーテッド・アニーリング法であるCASAを、重複する特徴の組み合わせを削除する特徴モデルの短縮ルールを統合することで改善している。133の公開された特徴モデルにおいて、テストカバレッジや配列サイズに影響を与えることなく、平均して実行時間の61.8％の高速化を達成した。これは、SPLにおける組み合わせ的テストにおいて顕著な性能向上を示している。

ABSTRACT

In Software Product Line Engineering (SPLE) families of systems are designed, rather than developing the individual systems independently. Combinatorial Interaction Testing has proven to be effective for testing in the context of SPLE, where a representative subset of products is chosen for testing in place of the complete family. Such a subset of products can be determined by computing a so called t-wise Covering Array (tCA), whose computation is NP-complete. Recently, reduction rules that exploit basic feature model analysis have been proposed that reduce the number of elements that need to be considered during the computation of tCAs for Software Product Lines (SPLs). We applied these rules to CASA, a simulated annealing algorithm for tCA generation for SPLs. We evaluated the adapted version of CASA using 133 publicly available feature models and could record on average a speedup of $61.8\%$ of median execution time, while at the same time preserving the coverage of the generated array.

研究の動機と目的

• ソフトウェア製品ライン（SPLs）におけるtCA生成の計算コストを低減すること。これはNP完全であり、時間的に高コストである。
• tCA生成のために以前に提案された特徴モデルの短縮ルールを、シミュレーテッド・アニーリングに基づくtCA生成器であるCASAに統合すること。
• これらの短縮ルールが、生成されたtCAの品質やサイズに影響を与えないまま、CASAの実行時間の短縮に寄与するかどうかを評価すること。
• 性能向上が、シミュレーテッド・アニーリングの非決定的性質によるものではなく、構造的最適化によるものであることを検証すること。

提案手法

• CASAの探索空間を縮小するために、3つの特徴モデルの短縮ルールを適用する：(1) 常に選択される特徴を削除する、(2) 相互に排他的または制約のある特徴を排除する、(3) 特徴とその子孫を含むt-セットを除外する。
• これらのルールをCASAの探索プロセスに統合し、シミュレーテッド・アニーリング中に無効または重複する特徴の組み合わせを探索しないようにする。
• CASAの確率的性質を考慮し、各特徴モデルに対して100回の繰り返し評価を実施して統計的妥当性を確保する。
• SPLOTから入手可能な133の公開SPL特徴モデルを対象に、オリジナルのCASAと変更済みバージョンの間で中央値実行時間とtCAサイズを比較する。
• 性能向上が有意であるかどうかを統計的仮説検定により確認する。
• 短縮された探索空間であっても、元のtCA強度を維持するよう保証する。

実験結果

リサーチクエスチョン

• RQ1 特徴モデルの短縮ルールは、CASAのような探索ベースのtCA生成器に効果的に適用可能か？
• RQ2 短縮ルールの統合により、CASAの中央値実行時間に統計的に有意な短縮が達成されるか？
• RQ3 変更済みのCASAは、元のアルゴリズムと同等のtCAサイズとカバレッジ強度を維持するか？
• RQ4 性能向上は、シミュレーテッド・アニーリングの固有の非決定的性質によるものではなく、短縮ルールによるものか？

主な発見

• 変更済みCASAは、133の特徴モデル全体で中央値実行時間に平均61.8％の高速化を達成し、顕著な性能向上を示した。
• 短縮ルールの適用が、生成されたtCAのサイズやカバレッジ強度に影響を与えないことが確認され、テスト効果性が保持された。
• 統計的分析により、性能向上が有意であり、CASAの確率的性質によるものではないことが確認された。
• 結果から、特徴モデル解析を活用することで、SPLにおける探索ベースのtCA生成が最適化可能であることが妥当性を帯びた。
• 3番目の短縮ルール（特徴とその子孫を含むt-セットを除外する）は、ツリー間制約が存在する状況では未検証であり、さらなる調査が要する。
• 本研究は、制約付きSPLテストにおける探索ベースの手法（例えば、シミュレーテッド・アニーリング）の広範な適用可能性を支持する。