[논문 리뷰] Double Whammy - How ICT Projects are Fooled by Randomness and Screwed by Political Intent

Alexander Budzier, Bent Flyvbjerg|arXiv (Cornell University)|2013. 04. 16.

Complex Systems and Decision Making인용 수 4

한 줄 요약

이 논문은 총 2410억 달러 상당의 1,471개의 ICT 프로젝트를 분석하여, 비용 초과가 두 가지 별개의 메커니즘—정치적 조작(임계점 이하까지)과 두꺼운 尾 꼬리 분포를 가진 이상치의 무작위성(그 이상에서)—에서 기인함을 보여준다. 누적분포함수를 사용하여 연구는 지수분포에서 정규분포로, 그 다음 거듭제곱법칙 분포로의 전환을 드러내며, 이는 프로젝트 실패가 의도적인 낙관주의 편향과 희귀하지만 영향력이 큰 사건에 대한 체계적 무관심 때문임을 입증한다.

ABSTRACT

The cost-benefit analysis formulates the holy trinity of objectives of project management - cost, schedule, and benefits. As our previous research has shown, ICT projects deviate from their initial cost estimate by more than 10% in 8 out of 10 cases. Academic research has argued that Optimism Bias and Black Swan Blindness cause forecasts to fall short of actual costs. Firstly, optimism bias has been linked to effects of deception and delusion, which is caused by taking the inside-view and ignoring distributional information when making decisions. Secondly, we argued before that Black Swan Blindness makes decision-makers ignore outlying events even if decisions and judgements are based on the outside view. Using a sample of 1,471 ICT projects with a total value of USD 241 billion - we answer the question: Can we show the different effects of Normal Performance, Delusion, and Deception? We calculated the cumulative distribution function (CDF) of (actual-forecast)/forecast. Our results show that the CDF changes at two tipping points - the first one transforms an exponential function into a Gaussian bell curve. The second tipping point transforms the bell curve into a power law distribution with the power of 2. We argue that these results show that project performance up to the first tipping point is politically motivated and project performance above the second tipping point indicates that project managers and decision-makers are fooled by random outliers, because they are blind to thick tails. We then show that Black Swan ICT projects are a significant source of uncertainty to an organisation and that management needs to be aware of.

연구 동기 및 목표

• ICT 프로젝트 비용 초과의 이중 원인인 정치적 의도와 무작위성을 조사하기 위해.
• 성과 이탈이 낙관주의 편향과 블랙스완 사건과 관련된 구체적인 통계적 패턴을 따르는지 확인하기 위해.
• 정치적 영향에서 통계적 이상치로의 전환을 나타내는 비용 초과 분포의 임계점들을 특정하기 위해.
• 블랙스완 ICT 프로젝트가 조직적 불확실성을 크게 증가시킨다는 것을 입증하기 위해.
• 내면 시각의 오류와 외면 시각의 맹점이 예측 실패를 이끄는 데서 수행하는 역할을 검증하기 위해.

제안 방법

• 총 2410억 달러 상당의 1,471개의 ICT 프로젝트에서 데이터를 수집하였다.
• 실제 비용 - 예측 비용 / 예측 비용의 누적분포함수(CDF)를 계산하였다.
• 성과 수준에 따라 분포 형태의 구조적 전환을 탐지하기 위해 CDF를 분석하였다.
• 지수분포에서 정규분포로, 그 다음 지수 2인 거듭제곱법칙 분포로의 전환을 보여주는 두 개의 임계점이 식별되었다.
• 통계적 모델링을 통해 정치적 원인에 의한 초과와 극단적인 무작위 사건에 의한 초과를 구분하였다.
• 내면 시각 대 외면 시각 프레임워크를 적용하여 프로젝트 예측의 의사결정 편향을 평가하였다.

실험 결과

연구 질문

• RQ1 다양한 성과 수준에서 ICT 프로젝트 비용 초과에 나타나는 통계적 패턴은 무엇인가?
• RQ2 정치적 동기와 무작위성이 프로젝트 비용 예측 정확도에 어떻게 동시에 영향을 미치는가?
• RQ3 성과가 정치적 영향에서 극단적인 이상치에 의해 지배되는 전환점은 언제인가?
• RQ4 희귀한 블랙스완 사건이 ICT 프로젝트의 비용 초과에 얼마나 기여하는가?
• RQ5 내면 시각과 외면 시각 의사결정 프레임워크는 관찰된 분포 전환을 설명할 수 있는가?

주요 결과

• 비용 초과의 누적분포는 두 개의 명확한 임계점을 보이며, 이는 세 가지 성과 제도를 나타낸다.
• 첫 번째 임계점 이하에서는 비용 초과가 지수분포를 따르며, 정치적 영향력과 의도적인 낙관주의를 시사한다.
• 첫 번째와 두 번째 임계점 사이에서는 분포가 정규분포를 띠며, 중간 정도의 불확실성과 위험을 암시한다.
• 두 번째 임계점 초과에서는 분포가 지수 2인 거듭제곱법칙 분포로 전환되며, 극단적인 이상치와 블랙스완 효과를 나타낸다.
• 연구는 블랙스완 ICT 프로젝트가 조직적 불확실성의 주요 원천임을 확인하였으며, 특히 두 번째 임계점 이후로 더욱 두드러진다.
• 결과는 낙관주의 편향(오류)과 블랙스완 무관심이 모두 ICT 프로젝트 예측 실패의 핵심 원동력임을 검증한다.