[論文レビュー] Overspend? Late? Failure? What the Data Say About IT Project Risk in the Public Sector

Alexander Budzier, Bent Flyvbjerg|arXiv (Cornell University)|Apr 16, 2013

Big Data and Business IntelligenceBusiness, Management and Accounting被引用数 16

ひとこと要約

この論文は、1,355件の公共部門ITプロジェクトを分析し、費用およびスケジュールのパフォーマンスにおけるリスクを評価しており、規範的期待である99％近傍の準拠率に対して、25％を超える費用超過を示すプロジェクトが18％に上ることを明らかにした。期間とプロジェクトタイプが主なリスク要因であると特定し、4つの証拠に基づく解決策を提言している：ベンチマーキング、バイアスの除去による意思決定、複雑性の低減、および最良の実践を制度化する「マスタービルダー」の育成。

ABSTRACT

Implementing large-scale information and communication technology (IT) projects carries large risks and easily might disrupt operations, waste taxpayers' money, and create negative publicity. Because of the high risks it is important that government leaders manage the attendant risks. We analysed a sample of 1,355 public sector IT projects. The sample included large-scale projects, on average the actual expenditure was $130 million and the average duration was 35 months. Our findings showed that the typical project had no cost overruns and took on average 24% longer than initially expected. However, comparing the risk distribution with the normative model of a thin-tailed distribution, projects' actual costs should fall within -30% and +25% of the budget in nearly 99 out of 100 projects. The data showed, however, that a staggering 18% of all projects are outliers with cost overruns >25%. Tests showed that the risk of outliers is even higher for standard software (24%) as well as in certain project types, e.g., data management (41%), office management (23%), eGovernment (21%) and management information systems (20%). Analysis showed also that projects duration adds risk: every additional year of project duration increases the average cost risk by 4.2 percentage points. Lastly, we suggest four solutions that public sector organization can take: (1) benchmark your organization to know where you are, (2) de-bias your IT project decision-making, (3) reduce the complexities of your IT projects, and (4) develop Masterbuilders to learn from the best in the field.

研究の動機と目的

• 大規模な公共部門ITプロジェクトの費用超過およびスケジュール遅延という観点から、実際のリスクプロファイルを評価すること。
• 費用超過およびスケジュール遅延の可能性を著しく高める要因を特定すること。
• 観察されたリスク分布を規範的で「スリムテイル」な統計モデルと比較し、体系的な乖離を明らかにすること。
• 公共部門組織がITプロジェクトの失敗率を低減するための、実行可能でデータドリブンな提言を開発すること。

提案手法

• 平均支出額が1億3,000万ドル、平均期間が35か月の1,355件の公共部門ITプロジェクトのデータセットを分析。
• 実際の費用およびスケジュールの成果を、規範的で「スリムテイル」な分布モデルと比較する統計モデリングの適用。
• 分野ごとのリスク差を評価するため、プロジェクトをタイプ（例：データ管理、e政府）に分類。
• 期間をリスク要因として定量的分析し、プロジェクト期間が1年長くなるごとに費用リスクがどれほど増加するかを測定。
• 組織のパフォーマンスをベンチマーキングし、優れた成果を上げる機関を同定。
• 実証的発見と行動科学的知見に基づき、4つの実用的なリスク軽減戦略を開発。

実験結果

リサーチクエスチョン

• RQ1 大規模な公共部門ITプロジェクトにおける費用超過およびスケジュール遅延の実際の分布は、規範的期待と比べてどう異なるか？
• RQ2 どのプロジェクトタイプが費用超過およびスケジュール遅延のリスクが最も高いか？
• RQ3 プロジェクト期間が費用リスクの増加とどのように相関しているか？
• RQ4 標準ソフトウェアプロジェクトは、カスタム開発プロジェクトと比べて、リスクプロファイルでどの程度異なるか？
• RQ5 公共部門におけるITプロジェクト失敗の可能性を低減する、証拠に基づく組織的実践は何か？

主な発見

• 公共部門ITプロジェクトの18％が、規範的で「スリムテイル」な分布モデル下での予想される1％よりも高い25％を超える費用超過を示しており、顕著に高い水準である。
• 平均して、プロジェクトは当初計画より24％長くかかるが、一般的なプロジェクトでは費用超過は見られない。
• データ管理プロジェクトが最もリスクが高く、41％が25％を超える費用超過を示し、次いで事務管理（23％）、e政府（21％）の順に高い。
• プロジェクト期間が1年長くなるごとに、平均費用リスクが4.2ポイント上昇する。
• 標準ソフトウェアプロジェクトの費用超過のアウトライヤー率は24％であり、予想を上回るリスクを示している。
• 本研究では、4つの実用的解決策を同定した：ベンチマーキング、意思決定におけるバイアスの除去、プロジェクトの複雑性の低減、および最良の実践を制度化する「マスタービルダー」の育成。