[論文レビュー] Why Your IT Project Might Be Riskier Than You Think

Bent Flyvbjerg, Alexander Budzier|arXiv (Cornell University)|Mar 28, 2013

Big Data and Business Intelligence被引用数 15

ひとこと要約

本論文は、平均的な費用超過に注目するあまり、ITプロジェクトのリスクが著しく低估されていることを明らかにしている。実際には、いわゆる「黒ウサギ（ブラック・サンズ）」と呼ばれる極端な超過が、多くのプロジェクトで発生しており、16分の1のプロジェクトが200％以上の費用超過を経験し、ほぼ70％のプロジェクトがスケジュール遅延を被っている。著者らは、従来のリスク評価がこうしたまれだが破滅的な外れ値を捉えておらず、プロジェクトガバナンスと意思決定の向上のため、平均値から「末尾リスク」への注目転換を提唱する。

ABSTRACT

Out-of-control information technology (IT) projects have ended the careers of top managers, such as EADS CEO Noel Forgeard and Levi Strauss' CIO David Bergen. Moreover, IT projects have brought down whole companies, like Kmart in the US and Auto Windscreen in the UK. Software and other IT is now such an integral part of most business processes and products that CEOs must know their IT risks, which are typically substantial and overlooked. The analysis of a sample of 1,471 IT projects showed that the average cost overrun was 27% - but that figure masks a far more alarming 'fat tail' risk. Fully one in six of the projects in the sample was a Black Swan, with a cost overrun of 200%, on average, and a schedule overrun of almost 70%. This highlights the true pitfall of IT change initiatives: It's not that they're particularly prone to high cost overruns on average - it is that there are a disproportionate number of Black Swans. By focusing on averages instead of the more damaging outliers, most managers and consultants have been missing the real risk in doing IT. In conclusion, the article outlines ideas as to what can be done to avoid Black Swans.

研究の動機と目的

• 大規模ITプロジェクトにおける極端な費用超過およびスケジュール遅延の隠れた危険を暴露すること。これは、従来のリスク分析によって体系的に低估されている。
• ITプロジェクト評価において一般的に用いられる平均パフォーマンス指標への依存を疑問視すること。これは、まれだが破滅的な失敗の真のリスクを隠蔽している。
• 200％以上の費用超過および70％以上のスケジュール遅延を伴う「ブラック・サンズ」イベントが、組織的成果に与える不均衡な影響を強調すること。
• 平均ベースの予測から「末尾リスク」への認識へのパラダイムシフトを提唱すること。これによりITプロジェクトガバナンスにおけるリスク管理が改善される。
• 経営幹部およびプロジェクトマネージャーが、ITプロジェクトパフォーマンスにおける最も深刻な外れ値を特定し、低減するための実務的インサイトを提供すること。

提案手法

• 多様な組織およびセクターをカバーする1,471件のITプロジェクトの大きなデータセットを分析し、費用およびスケジュール超過を評価する。
• 特に極端な結果の「太い尾部（fat tail）」を特定する統計的分析の実施。
• 費用超過が200％を超えること、およびスケジュール超過が70％を超えることを基準に、プロジェクトを「ブラック・サンズ」イベントに分類する。
• 平均超過（27％）と極端な外れ値の頻度・深刻度を比較することで、平均値ベースの指標がリスクをいかに歪めているかを示す。
• 行動的および組織的リスク理論を応用し、マネージャーやコンサルタントがなぜブラック・サンズの結果を予測できないかを説明する。
• 平均ケースシナリオではなく、高インパクトで低確率の出来事への特定と準備に焦点を当てたリスク低減戦略の開発。

実験結果

リサーチクエスチョン

• RQ1 なぜ従来のITプロジェクトリスク評価は、大規模ITイニシアチブにおける真のリスクを捉えていないのか？
• RQ2 ITプロジェクトにおける極端な費用超過およびスケジュール遅延の頻度と深刻度は何か？ また、これは平均パフォーマンスからどのように逸脱しているか？
• RQ3 200％以上の費用超過および70％以上のスケジュール遅延を伴う「ブラック・サンズ」イベントは、組織的成果および経営意思決定にどのように影響を与えるか？
• RQ4 ITプロジェクト計画およびガバナンスにおいて、末尾リスクがなぜ低估され続けているのか、その体系的原因は何か？
• RQ5 組織が破滅的ITプロジェクト失敗を予測・低減できるよう、リスク管理フレームワークに実施可能な変更は何か？

主な発見

• 1,471件のITプロジェクトにおける平均費用超過は27％であったが、この数値ははるかに深刻なリスク分布を隠している。
• 16分の1（約16.7％）のITプロジェクトがブラック・サンズと分類され、平均費用超過は200％、スケジュール超過はほぼ70％に達した。
• こうした極端な外れ値（平均超過とは対照的に）こそ、ITプロジェクトの成功および組織的安定性に対する主な脅威である。
• EADS、レヴィ・ストラウス、Kmart、Auto Windscreenの高名な失敗事例は、通常の費用超過ではなく、こうしたブラック・サンズイベントによって引き起こされた。
• マネージャーやコンサルタントは平均パフォーマンスに注目するあまり、こうした高インパクト外れ値を無視しており、リスクの体系的低估を引き起こしている。
• プロジェクト失敗の根本的原因は平均的な非効率性にあるのではなく、標準的な予測モデルがうまく予測できない、まれだが極端な出来事の不均衡な影響にある。