[論文レビュー] Software Process Measurement and Related Challenges in Agile Software Development: A Multiple Case Study

Prabhat Ram, Pilar Rodríguez+1 more|arXiv (Cornell University)|Sep 4, 2018

Software Engineering Techniques and Practices被引用数 6

ひとこと要約

本件マルチーケーススタディは、Q-Rapidsプロジェクトに参加する4つのアジャイル企業を対象に、ゴール・クエスチョン・メトリクス（GQM）アプローチを用いて、アジャイル環境におけるソフトウェアプロセス測定の裏付けと運用上の課題を調査している。調査結果から、組織はベロシティ、テスト、推定精度といった分野において、カスタムメトリクスを優先的に採用しているが、技術的・プロセス的制約に起因するデータの入手困難さが顕著であり、効果的な測定の実装を制限していることが明らかになった。

ABSTRACT

Existing scientific literature highlights the importance of metrics in Agile Software Development (ASD). Still, empirical investigation into metrics in ASD is scarce, particularly in identifying the rationale and the operational challenges associated with metrics. Under the Q-Rapids project (Horizon 2020), we conducted a multiple case study at four Agile companies, using the Goal Question Metric (GQM) approach, to investigate the rationale explaining the choice of process metrics in ASD, and challenges faced in operationalizing them. Results reflect that companies are interested in assessing process aspects like velocity, testing performance, and estimation accuracy, and they prefer custom metrics for these assessments. Companies use metrics as a means to access and even capitalize on the data, erstwhile inaccessible due to technical or process constraints. However, development context of a company can hinder metrics operationalization, manifesting primarily as unavailability of the data required to measure metrics...(check the paper for full Abstract)

研究の動機と目的

• アジャイルソフトウェア開発（ASD）環境におけるプロセスメトリクス選定の裏付けを理解すること。
• アジャイル組織におけるソフトウェアプロセスメトリクスの実装における運用上の課題を特定すること。
• 技術的またはプロセス的制限により、従来はアクセスできなかったデータにメトリクスを用いて到達する方法を調査すること。
• ベロシティ、テストパフォーマンス、推定精度といった重要なプロセス的側面を評価するうえで、カスタムメトリクスが果たす役割を調査すること。

提案手法

• Q-Rapids Horizon 2020プロジェクトに参加する4つのアジャイルソフトウェア開発企業を対象に、マルチーケーススタディを実施した。
• プロセスメトリクスを体系的に特定・構造化するために、ゴール・クエスチョン・メトリクス（GQM）アプローチを適用した。
• インタビューと文書分析を通じて定性的データを収集し、メトリクス選定の裏付けと実装上の課題を検討した。
• データを分析して、メトリクス選定、使用、運用化の障壁に関するパターンを同定した。
• ベロシティ、テストパフォーマンス、推定精度といったプロセス的側面に焦点を当て、メトリクスの関連性を評価した。
• テーマ的分析を用いて、データの入手困難さや組織的制約がメトリクス実装に与える影響に関するインサイトを抽出した。

実験結果

リサーチクエスチョン

• RQ1 アジャイル組織が開発実践において特定のプロセスメトリクスを選定する動機は何であるか？
• RQ2 アジャイル環境においてソフトウェアプロセスメトリクスを運用化するにあたり、組織が直面する主な課題は何か？
• RQ3 技術的またはプロセス的制限により、従来はアクセスできなかったデータに、組織はどのようにメトリクスを用いて到達しているか？
• RQ4 アジャイル開発における重要なプロセス次元を評価するにあたり、標準化されたメトリクスよりもカスタムメトリクスにどれほど依存しているか？

主な発見

• 組織は、ベロシティ、テストパフォーマンス、推定精度といった重要なプロセス的側面を評価するために、標準化されたメトリクスよりもカスタムメトリクスを優先的に採用している。
• メトリクス運用化の主な障壁は、開発環境内の技術的・プロセス的制約に起因する、必要なデータの入手不能さである。
• メトリクスはモニタリングの目的だけでなく、システムやワークフロー上の制限により従来はアクセスできなかったデータからインサイトを引き出すためにも使用されている。
• プロセス測定への関心は高いものの、多くの組織がデータインfraや統合の問題により、メトリクスの実装に苦慮している。
• 本研究では、プロセスパフォーマンスを測定したいという意図と、データアクセスや品質の課題に起因する実際の実装能力との間にギャップがあることが明らかになった。
• 企業はしばしば特定のニーズに応じて一時的なメトリクスを策定しており、これは予防的ではなく、反応的戦略であることを示している。