[論文レビュー] A conversation around the analysis of the SiP effort estimation dataset

Derek M. Jones, Stephen Cullum|arXiv (Cornell University)|Jan 6, 2019

Software Engineering Research参考文献 8被引用数 4

ひとこと要約

本論文は、10年以上にわたり20件のプロジェクトで22名の開発者が提出した10,100件のタスク推定を含むSiP作業推定データセットについて、会話的分析を実施した。その結果、推定の正確さは、個人の開発者、プロジェクトの文脈、丸数字バイアスに著しく影響を受けることが明らかになった。推定の実践が改善されたにもかかわらず、回帰モデルには顕著な改善が見られず、アジャイル環境における人間の推定行動を捉える統計的モデリングの限界が浮き彫りになった。

ABSTRACT

The analysis of over ten years of commercial development using Agile (10,100 unique task estimates made by 22 developers, under 20 project codes) is documented via a conversation involving the data analyst and a director of the company that created the SiP dataset. Factors found to influence task implementation effort estimation accuracy include the person making the estimate, the project involved, and the propensity to use round numbers. Any improvement in estimation accuracy, with practice, did not noticeably improve regression models fitted.

研究の動機と目的

• 商用アジャイル開発環境から得た大規模かつ現実的なデータセットを用いて、ソフトウェアタスクの作業推定の正確さに影響を与える要因を調査すること。
• 個人の開発者行動、プロジェクト固有のダイナミクス、推定実践が時間経過とともに推定の正確さに与える影響を調査すること。
• 改善された推定実践が、作業推定の回帰モデルの性能向上に顕著な改善をもたらすかどうかを評価すること。
• クライアントの関与と組織的慣行が推定行動と結果に与える役割を理解すること。
• 実証的分析を通じて、ソフトウェア組織がデータ収集と推定の改善に役立つ実務的知見を得ること。

提案手法

• ドメインエキスパート（スティーブン・カラン）とデータアナリスト（デレク・ジョーンズ）の間で繰り返しデータ分析を実施し、ドメイン知識と統計的手法を統合した。
• 2004年から2014年までの間、12,299行の匿名化されたデータを分析した。データにはタスク推定値、実際の作業時間、開発者ID、プロジェクトコード、タイムスタンプが含まれた。
• Rを用いて統計的モデリングと可視化を実施し、分析の物語にコードスニペットを統合して結果を裏付けた。
• 相対誤差とバイアスなどの指標を用いて推定の正確さを評価し、個人の開発者、プロジェクト、時間帯ごとに比較した。
• 丸数字の使用傾向と推定の不正確さとの相関関係を調査した。
• クライアントの関与とリリース計画の実践が推定行動と結果に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 アジャイル環境におけるソフトウェアタスクの作業推定の正確さに著しく影響を与える要因は何ですか？
• RQ2 個人の開発者行動は推定の正確さにどのように影響し、経験の蓄積が顕著な改善をもたらすでしょうか？
• RQ3 丸数字の使用が推定の不正確さにどの程度影響を及えるでしょうか？
• RQ4 時間経過による推定実践の改善が、より優れた性能を示す回帰モデルを生み出すでしょうか？
• RQ5 クライアントの関与とプロジェクトフェーズ（開発フェーズ対サポートフェーズ）は、推定行動と結果にどのように影響するでしょうか？

主な発見

• 推定の正確さは、個人の開発者に著しく影響を受けており、22名の開発者間でバイアスと精度に顕著な差が認められた。
• プロジェクト固有の要因、特にクライアントの関与とプロジェクトフェーズが、推定行動と結果に強い影響を与えた。
• 丸数字の使用傾向が強く、推定の系統的な不正確さを引き起こしていた。
• 推定実践の改善が観察されたにもかかわらず、回帰モデルには顕著な性能向上が見られなかった。
• 2008年以降のサポートフェーズでは、過大推定がより一般的になり、クライアントがそれを受け入れる傾向があった。これは推定行動に戦略的転換が生じたことを示唆している。
• 開発フェーズにおけるクライアントの関与が推定の正確さを高めた一方、サポートフェーズでの関与の低下は過大推定と関連していた。