[論文レビュー] What Makes Agile Test Artifacts Useful? An Activity-Based Quality Model from a Practitioners' Perspective

Jannik Fischbach, Henning Femmer+3 more|arXiv (Cornell University)|Sep 3, 2020

Software Engineering Research被引用数 4

ひとこと要約

本研究では、12の企業から18名の実務者を対象に実施した産業調査に基づき、アジャイルテストアーティファクトのための活動ベースのアーティファクト品質モデル（ABAQM）を提案する。このモデルは、受容基準、テスト文書、ユニットテストなどのテストアーティファクトが実務でより有用になるようにする16の具体的な品質要因を特定している。品質要因には、言語の明確さ、トレーサビリティ、自動化の強化が含まれ、テストの効率性と品質の向上に寄与する。

ABSTRACT

Background: The artifacts used in Agile software testing and the reasons why these artifacts are used are fairly well-understood. However, empirical research on how Agile test artifacts are eventually designed in practice and which quality factors make them useful for software testing remains sparse. Aims: Our objective is two-fold. First, we identify current challenges in using test artifacts to understand why certain quality factors are considered good or bad. Second, we build an Activity-Based Artifact Quality Model that describes what Agile test artifacts should look like. Method: We conduct an industrial survey with 18 practitioners from 12 companies operating in seven different domains. Results: Our analysis reveals nine challenges and 16 factors describing the quality of six test artifacts from the perspective of Agile testers. Interestingly, we observed mostly challenges regarding language and traceability, which are well-known to occur in non-Agile projects. Conclusions: Although Agile software testing is becoming the norm, we still have little confidence about general do's and don'ts going beyond conventional wisdom. This study is the first to distill a list of quality factors deemed important to what can be considered as useful test artifacts.

研究の動機と目的

• 実際のプロジェクトにおいてアジャイルテスト担当者がテストアーティファクトを使用する際に直面する実務的課題を特定すること。
• アジャイルテストワークフローにおいて、特定の品質要因が有用または有害であるとされる理由を理解すること。
• 実証的根拠に基づいた、活動ベースの品質モデルを構築し、実務者視点から高品質なテストアーティファクトがどのようなものであるかを定義すること。
• 抽象的で規範的な基準にとどまらず、実際のテスト活動とステークホルダーのニーズに基づいて品質基準を根拠づけること。

提案手法

• 7つの分野にまたがる12の企業から18名の経験豊富なアジャイル実務者を対象に、1対1のインタビューを用いた定性的産業調査を実施した。
• アーティファクトの特性とステークホルダーの活動、品質結果を結びつけるために、活動ベースのアーティファクト品質モデル（ABAQM）フレームワークを適用した。
• パイロットテストと内部／外部の妥当性確認を繰り返し行い、質問の関連性と明確さを保証するための反復的で質の高いアンケート設計を実施した。
• インタビュー記録のトピック的分析を実施し、課題と品質要因を抽出した。その後、信頼性を確保するためのメンバー確認（member checking）を実施した。
• 特定のテストアーティファクト（例：受容基準、ユニットテスト）に特定の品質要因をマッピングし、それらをステークホルダーの活動と関連付けた。
• 内部レビューと参加者からのフィードバックを通じて、研究者のバイアスを低減し、構造的妥当性を向上させるために、研究結果を検証した。

実験結果

リサーチクエスチョン

• RQ1 アジャイル実務者が日常のテスト活動においてテストアーティファクトを使用する際に直面する課題は何か？
• RQ2 テスト担当者やその他のステークホルダーの視点から、アジャイルテストアーティファクトの有用性に影響を与える具体的な品質要因は何か？
• RQ3 テストアーティファクトの品質要因は、アジャイルテストワークフローで支援する活動とどのように関連しているか？
• RQ4 既存の規範的基準は、アジャイルテストアーティファクトの実務的品質ニーズをどの程度捉えられていないか？

主な発見

• 9つの主要な課題が特定され、その中で最も頻出していたのは「トレーサビリティの欠如」と「曖昧な受容基準」であった。
• 最も重要な品質要因には、言語の明確さ、アーティファクト間の適切なトレーサビリティ、テスト資産全体における一貫性のあるバージョン管理が含まれる。
• 実務者らは、不十分に文書化されたテスト結果や欠落したテストデータが、テストの効果を著しく低下させると報告した。
• 受容テストの自動化が欠落している、または不十分に実装されていることが頻繁に指摘され、人的作業が増加しているとされた。
• ユニットテストは、コードカバレッジが不十分で、保守がなされていないことが多く、長期的なテスト信頼性を損なっていると批判された。
• 本研究では、アジャイルの原則が最小限の文書化を支持する一方で、チームは依然として品質保証とチーム連携のため、良好に設計されたアーティファクトに強く依存していることが明らかになった。