[論文レビュー] Product Backlog Rating: A Case Study On Measuring Test Quality In Scrum

Imrul Kayes, Mithun Sarker+1 more|arXiv (Cornell University)|Oct 9, 2013

Software Engineering Research参考文献 63被引用数 4

ひとこと要約

本論文は、機能の複雑さとテスト評価レーティングを評価することで、スクラムにおけるテスト品質を定量的に評価するための製品バックログレーティング（PBR）指標を提案する。これにより、テストプロセスの数値スコアが得られる。SoftwarePeopleにおける事例研究に基づき、PBRはチームが反復的にテスト品質を監視・改善できるようにし、アジャイル環境におけるプロセス品質管理の実用的フレームワークを提供する。

ABSTRACT

Agile software development methodologies focus on software projects which are behind schedule or highly likely to have a problematic development phase. In the last decade, Agile methods have transformed from cult techniques to mainstream methodologies. Scrum, an Agile software development method, has been widely adopted due to its adaptive nature. This paper presents a metric that measures the quality of the testing process in a Scrum process. As product quality and process quality correlate, improved test quality can ensure high quality products. Also, gaining experience from eight years of successful Scrum implementation at SoftwarePeople, we describe the Scrum process emphasizing the testing process. We propose a metric Product Backlog Rating (PBR) to assess the testing process in Scrum. PBR considers the complexity of the features to be developed in an iteration of Scrum, assesses test ratings and offers a numerical score of the testing process. This metric is able to provide a comprehensive overview of the testing process over the development cycle of a product. We present a case study which shows how the metric is used at SoftwarePeople. The case study explains some features that have been developed in a Sprint in terms of feature complexity and potential test assessment difficulties and shows how PBR is calculated during the Sprint. We propose a test process assessment metric that provides insights into the Scrum testing process. However, the metric needs further evaluation considering associated resources (e.g., quality assurance engineers, the length of the Scrum cycle).

研究の動機と目的

• スクラムにおけるテストプロセス品質を測るという課題に取り組むこと。これはアジャイル開発において重要な側面ではあるが、しばしば主観的である。
• プロセス品質と製品品質の強い相関関係を踏まえ、テスト活動の品質を反映する定量的指標を開発すること。
• SoftwarePeopleにおける8年間のスクラム導入経験を活かし、実務に根ざした指標を構築すること。
• チームが製品開発サイクル全体にわたりテスト品質を監視・改善できる、実用的で実行可能なフレームワークを提供すること。
• スプリント単位のメトリクスと結びついたフィードバックメカニズムを提供することで、アジャイルテストにおける継続的改善を支援すること。

提案手法

• PBR指標は、製品バックログ内の機能の複雑さと、各機能に割り当てられたテスト評価レーティングに基づいて計算される。
• テスト評価レーティングは、品質保証エンジニアがテストカバレッジ、テスト設計の難易度、テスト実行の複雑さなどの要因をもとに決定する。
• 機能の複雑さは、関数的依存関係、統合ポイント、リスクレベルなどの事前定義基準を用いて評価される。
• この指標は、個々の機能レーティングをスプリントごとに統合し、複合スコアを生成することで、時間的なトレンド分析を可能にする。
• この方法は、SoftwarePeopleにおける実際の事例研究に適用され、複数のスプリントにわたるPBRの計算が実証された。
• チームが弱いテスト領域を特定し、テスト戦略を調整できるようにするフィードバックループを支援する。

実験結果

リサーチクエスチョン

• RQ1 スクラムにおけるテスト品質を、定量的かつ実行可能な方法でどのように測定できるか？
• RQ2 スクラムスプリントにおいて、ある機能のテストがどれほど複雑になる要因となるか？
• RQ3 テスト評価レーティングを標準化し、テストプロセス品質の複合指標を生成するためにどう活用できるか？
• RQ4 PBR指標は、スクラム環境におけるテストプロセス全体の効果性をどの程度反映できるか？
• RQ5 PBR指標は、アジャイルテストの実践における継続的改善をどのように支援できるか？

主な発見

• 製品バックログレーティング（PBR）指標は、機能の複雑さとテスト評価レーティングを統合することで、テストプロセス品質を明確に数値化するのに成功した。
• SoftwarePeopleにおける事例研究は、PBRが複数のスプリントにわたりテスト品質を監視する実用的応用が可能であり、実行可能なインサイトを提供することを示している。
• PBRは、スプリントの初期段階で高いテスト複雑性を示す機能を特定できるため、より良いテスト計画とリソース配分が可能になる。
• 指標は、テスト作業の不均衡や弱み（例：未十分にテストされた機能や高リスクの機能）を特定することで、プロセス改善を支援する。
• PBRフレームワークは柔軟性があり、スクラムチームにおける既存の品質管理慣行の補完として利用可能である。
• PBRは品質保証エンジニアの入力を中心にしているが、著者らは今後の研究において開発者のテスト貢献を含める必要があると認識している。