[論文レビュー] Double Whammy - How ICT Projects are Fooled by Randomness and Screwed by Political Intent

Alexander Budzier, Bent Flyvbjerg|arXiv (Cornell University)|Apr 16, 2013

Complex Systems and Decision Making被引用数 4

ひとこと要約

本稿は、2410億ドルに上る1,471件のICTプロジェクトを分析し、コスト超過が2つの異なるメカニズムに起因することを示している。1つは政治的操作（しだいに増大するが、ある限界点までは）であり、もう1つは厚尾分布の外れ値によるランダム性（それ以上に）である。累積分布関数を用いた分析により、分布の形状が指数関数的からガウス分布へ、そしてべき乗則分布（指数2）へと変化することが明らかになった。これは、プロジェクトの失敗が、意図的な楽観バイアスと、まれで大規模な影響を持つ出来事へのシステム的無知が共同で引き起こしていることを裏付けている。

ABSTRACT

The cost-benefit analysis formulates the holy trinity of objectives of project management - cost, schedule, and benefits. As our previous research has shown, ICT projects deviate from their initial cost estimate by more than 10% in 8 out of 10 cases. Academic research has argued that Optimism Bias and Black Swan Blindness cause forecasts to fall short of actual costs. Firstly, optimism bias has been linked to effects of deception and delusion, which is caused by taking the inside-view and ignoring distributional information when making decisions. Secondly, we argued before that Black Swan Blindness makes decision-makers ignore outlying events even if decisions and judgements are based on the outside view. Using a sample of 1,471 ICT projects with a total value of USD 241 billion - we answer the question: Can we show the different effects of Normal Performance, Delusion, and Deception? We calculated the cumulative distribution function (CDF) of (actual-forecast)/forecast. Our results show that the CDF changes at two tipping points - the first one transforms an exponential function into a Gaussian bell curve. The second tipping point transforms the bell curve into a power law distribution with the power of 2. We argue that these results show that project performance up to the first tipping point is politically motivated and project performance above the second tipping point indicates that project managers and decision-makers are fooled by random outliers, because they are blind to thick tails. We then show that Black Swan ICT projects are a significant source of uncertainty to an organisation and that management needs to be aware of.

研究の動機と目的

• ICTプロジェクトのコスト超過の二重原因（政治的意図とランダム性）を調査すること。
• パフォーマンスの乖離が楽観バイアスとブラック・スワン事象と関連する明確な統計的パターンを示すかどうかを特定すること。
• 政治的影響から統計的外れ値へと移行するコスト超過分布における転換点を同定すること。
• ブラック・スワンICTプロジェクトが組織の不確実性を顕著に増大させることを示すこと。
• 内部視点の錯覚と外部視点の無知が、予測失敗を引き起こす要因として有効に機能することを検証すること。

提案手法

• 合計2410億ドルの1,471件のICTプロジェクトからデータを収集した。
• 実コスト - 予測コスト) / 予測コスト の累積分布関数（CDF）を計算した。
• パフォーマンスの異なる水準における分布形状の構造的変化を検出するためにCDFを分析した。
• 分布が指数関数的からガウス分布に、そして指数2のべき乗則へと移行する2つの転換点を同定した。
• 統計的モデリングを用いて、政治的要因による超過と極端なランダム事象による超過を区別した。
• 内部視点対外部視点フレームワークを用い、プロジェクト予測における意思決定バイアスを評価した。

実験結果

リサーチクエスチョン

• RQ1 異なるパフォーマンス水準におけるICTプロジェクトのコスト超過に、どのような統計的パターンが現れるか？
• RQ2 政治的動機とランダム性が、プロジェクトのコスト予測精度にどのように同時に影響を与えるか？
• RQ3 パフォーマンスが政治的要因支配から極端な外れ値支配に移行する点はどこか？
• RQ4 ブラック・スワン事象がICTプロジェクトのコスト超過にどの程度寄与しているか？
• RQ5 内部視点と外部視点の意思決定フレームワークは、観察された分布の変化を説明できるか？

主な発見

• コスト超過の累積分布には2つの明確な転換点があり、3つのパフォーマンス領域を示している。
• 最初の転換点までは、コスト超過は指数分布に従っており、政治的影響と意図的な楽観バイアスを示している。
• 最初の転換点と第二の転換点の間では、分布はガウス分布に近づき、中程度の不確実性とリスクを示している。
• 第二の転換点を超えると、分布は指数2のべき乗則に移行し、極端な外れ値とブラック・スワン効果を示している。
• 本研究は、ブラック・スワンICTプロジェクトが、とりわけ第二の転換点以降において、不確実性の主要因であることを確認した。
• 結果として、楽観バイアス（錯覚）とブラック・スワン盲点が、ICTプロジェクトの予測失敗を牽引する主要因であることが裏付けられた。