[論文レビュー] Constrained locating arrays for combinatorial interaction testing

Hao Jin, Tatsuhiro Tsuchiya|arXiv (Cornell University)|Dec 6, 2017

Software Testing and Debugging Techniques参考文献 36被引用数 10

ひとこと要約

本稿では、ソフトウェアシステムにおける現実世界のパラメータ制約を扱えるように、ロケーティングアレイを拡張した新しい組合せテストモデルである制約付きロケーティングアレイ（CLAs）を紹介する。制約を考慮した識別可能性と構成的アルゴリズムを統合することで、制約付きシステムにおける効率的な故障ロケーションが可能となり、実験により実用的な問題サイズへのスケーラビリティが示された。

ABSTRACT

This paper introduces the notion of Constrained Locating Arrays (CLAs), mathematical objects which can be used for fault localization in software testing. CLAs extend ordinary locating arrays to make them applicable to testing of systems that have constraints on test parameters. Such constraints are common in real-world systems; thus CLA enhances the applicability of locating arrays to practical testing problems. The paper also proposes an algorithm for constructing CLAs. Experimental results show that the proposed algorithm scales to problems of practical sizes.

研究の動機と目的

• ソフトウェアテストにおける現実世界のパラメータ制約を扱えない既存のロケーティングアレイ技術のギャップを埋めること。
• 制約の制限により、一部の故障発動要因となる相互作用が本質的に識別不能となる状況下での、制約下における識別可能性の形式的定式化。
• 制約を満たすとともに、故障発動要因となる相互作用をロケーション可能な、実用的なCLAs生成アルゴリズムの開発。
• 実世界および合成的なテスト問題に対して、提案されたCLAs構築手法のスケーラビリティと有効性の実証。

提案手法

• テスト対象システム（SUT）を、要因の集合F、それらの値ドメインS、および有効なテスト組み合わせを制限する制約関数φからなるタプル⟨F, S, φ⟩として定義する。
• 有効な相互作用と無効な相互作用の概念を導入：ある相互作用が少なくとも1つの有効なテスト（φを満たす）に現れる場合、それを有効な相互作用と呼ぶ。そうでない場合は無効と呼ぶ。
• 制約付きロケーティングアレイ（CLAs）を、指定された強度tまでに任意の2つの有効な相互作用が、制約下でも識別可能であることを保証するテストセットとして形式化する。
• 制約を考慮した識別可能性のチェックをカバーイングアレイ構築技術に拡張することで、CLAsを計算的に生成する手法を提案する。
• 任意の識別可能な相互作用のペアに対して、そのアレイ内でのカバレッジパターンが異なることを保証するように、段階的にCLAsを構築する再帰的構成戦略を採用する。
• tウェイ相互作用が有効で、かつその(t-1)ウェイ部分相互作用も有効である場合、制約を考慮したテスト選択によって識別可能性を保持できることを活用する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ制約により有効なテスト組み合わせが制限されるシステムにおいて、ロケーティングアレイをどのように拡張して対応できるか。
• RQ2 制約の存在下で、2つの故障発動要因となる相互作用が依然として識別可能であるための形式的条件は何か。
• RQ3 制約を満たしつつ故障ロケーション能力を維持できる、スケーラブルなCLAs生成アルゴリズムを設計できるか。
• RQ4 提案されたCLAs構築手法は、複雑な制約を持つ実用的サイズのソフトウェアシステムへどの程度スケーリング可能か。

主な発見

• 提案されたCLAsモデルは、制約下での識別可能性を形式的に定式化することで、ロケーティングアレイを制約付きシステムに拡張した。これにより、一部の相互作用が本質的に識別不能であっても、故障ロケーションが可能になる。
• CLAsを構築するためのアルゴリズムは正しく証明されている：任意の2つの有効な相互作用を強度tまでに識別可能に保証するアレイを生成する。
• 実験により、合成的および実世界のテストケースの両方で、実用的問題サイズへのスケーリングが有効に達成された。特に、5つの要因と複雑な要因間制約を持つ古典的な携帯電話の例でも有効性が示された。
• 構築プロセスは、CLAs内のすべてのテストケースが有効（制約を満たす）であり、すべての有効なtウェイ相互作用がカバーされていることを保証しており、カバーイングアレイの基本的性質を維持する。
• 理論的分析により、2つの相互作用が識別可能である場合、それらのCLAs内でのカバレッジパターンは異なることが確認され、故障発動要因となる相互作用が一意に特定可能であることが保証される。
• 制約処理と故障ロケーションの強化を追加しつつ、テストセットのサイズを最小限に抑えることで、組合せテストの効率性を維持している。