[논문 리뷰] Why Your IT Project Might Be Riskier Than You Think

Bent Flyvbjerg, Alexander Budzier|arXiv (Cornell University)|2013. 03. 28.

Big Data and Business Intelligence인용 수 15

한 줄 요약

이 논문은 IT 프로젝트의 위험이 평균 비용 초과에 초점을 맞추며 심각하게 과소평가되고 있음을 드러낸다. 실제로는 극단적인 초과를 겪는 '블랙스완' 사건이 비율적으로 높으며, 6개 중 1개의 프로젝트가 200퍼센트 이상의 비용 초과를 경험하고, 거의 70퍼센트의 프로젝트가 일정 지연을 겪고 있다. 저자들은 기존의 위험 평가 방식이 이러한 드문 일어나지만 참혹한 외부 충격을 포착하지 못하며, 위험 관리의 초점을 평균에서 꼬리 위험으로 옮겨야 한다고 주장한다. 이는 프로젝트 거버넌스와 의사결정을 향상시킬 수 있다.

ABSTRACT

Out-of-control information technology (IT) projects have ended the careers of top managers, such as EADS CEO Noel Forgeard and Levi Strauss' CIO David Bergen. Moreover, IT projects have brought down whole companies, like Kmart in the US and Auto Windscreen in the UK. Software and other IT is now such an integral part of most business processes and products that CEOs must know their IT risks, which are typically substantial and overlooked. The analysis of a sample of 1,471 IT projects showed that the average cost overrun was 27% - but that figure masks a far more alarming 'fat tail' risk. Fully one in six of the projects in the sample was a Black Swan, with a cost overrun of 200%, on average, and a schedule overrun of almost 70%. This highlights the true pitfall of IT change initiatives: It's not that they're particularly prone to high cost overruns on average - it is that there are a disproportionate number of Black Swans. By focusing on averages instead of the more damaging outliers, most managers and consultants have been missing the real risk in doing IT. In conclusion, the article outlines ideas as to what can be done to avoid Black Swans.

연구 동기 및 목표

• 대규모 IT 프로젝트에서 극단적인 비용 및 일정 초과가 발생하는 숨겨진 위험을 드러내며, 기존의 위험 분석 방식이 이 위험을 체계적으로 과소평가하고 있음을 밝히는 것.
• 일반적으로 사용되는 평균 성과 지표에 의존하는 IT 프로젝트 평가 방식이 드물지만 참혹한 실패 사례의 진정한 위험을 가리기 때문에 이를 도전하는 것.
• 200퍼센트 이상의 비용 초과와 70퍼센트 이상의 일정 지연을 겪는 '블랙스완' 사건이 조직적 결과에 미치는 비례가 높은 영향을 분석하는 것.
• IT 프로젝트 거버넌스에서 평균 기반 예측에서 꼬리 위험 인식으로의 위험 관리 패러다임 전환을 주장하는 것.
• 수행 가능한 통찰을 제공하여 경영진과 프로젝트 매니저가 IT 프로젝트 성과에서 가장 해로운 이질적 외부 충격을 식별하고 완화하는 데 도움을 주는 것.

제안 방법

• 다양한 조직과 부문에서 이루어진 1,471개의 IT 프로젝트에 대한 대규모 데이터셋 분석을 통해 비용 및 일정 초과를 평가하는 것.
• 특히 극단적 결과의 '胖 꼬리'(fat tail) 분포를 식별하기 위해 통계 분석을 활용하는 것.
• 비용 초과가 200퍼센트를 초과하고 일정 초과가 70퍼센트를 초과하는 기준에 따라 프로젝트를 '블랙스완' 사건으로 분류하는 것.
• 평균 초과(27퍼센트)와 극단적 이질적 외부 충격의 빈도 및 심각도를 비교함으로써 평균 기반 지표가 위험을 어떻게 잘못 표현하는지 보여주는 것.
• 행동 및 조직적 위험 이론을 적용하여 관리자와 컨ult처가 블랙스완 결과를 예측하지 못하는 이유를 설명하는 것.
• 일반적인 시나리오가 아니라 고위험·저확률 사건을 식별하고 대비하는 데 초점을 맞춘 위험 완화 전략을 개발하는 것.

실험 결과

연구 질문

• RQ1 왜 전통적인 IT 프로젝트 위험 평가는 대규모 IT 프로젝트의 진정한 위험 수준을 포착하지 못하는가?
• RQ2 IT 프로젝트에서 극단적인 비용 및 일정 초과의 빈도와 심각도는 무엇이며, 평균 성과와 어떻게 다를까?
• RQ3 200퍼센트 이상의 비용 초과와 70퍼센트 이상의 일정 지연을 정의하는 '블랙스완' 사건은 조직적 결과와 경영진의 의사결정에 어떤 영향을 미치는가?
• RQ4 IT 프로젝트 기획 및 거버넌스에서 꼬리 위험의 과소평가가 발생하는 체계적 이유는 무엇인가?
• RQ5 조직이 치명적인 IT 프로젝트 실패를 예측하고 완화할 수 있도록 도와주는 위험 관리 프레임워크의 실질적 변화는 무엇인가?

주요 결과

• 1,471개의 IT 프로젝트에서 평균 비용 초과는 27퍼센트였지만, 이 수치는 훨씬 더 심각한 위험 분포를 가리키는 가림막이 되고 있다.
• 6개 중 1개의 IT 프로젝트(약 16.7퍼센트)가 블랙스완로 분류되었으며, 평균 비용 초과는 200퍼센트에 달했고 일정 초과는 거의 70퍼센트였다.
• 이러한 극단적 이질적 외부 충격(즉, 평균 초과가 아닌)이 IT 프로젝트 성공과 조직 안정성에 있어 주요 위협이 되고 있다.
• EADS, 레비 스트라우스, 켄터, 오토 윈드스크린 등의 고유명사로 기록된 유명한 실패 사례들은 일반적인 비용 초과가 아니라 이러한 블랙스완 사건들 때문이었다.
• 관리자와 컨설턴트들은 평균 성과에 집중함으로써 이러한 고위험 이질적 외부 충격을 빠르게 간과하여 위험을 체계적으로 과소평가하고 있다.
• 프로젝트 실패의 근본 원인은 평균적인 비효율성에 있지 않고, 표준 예측 모델이 잘 예측하지 못하는 드문 극단적 사건이 미치는 비례가 높은 영향에 있다.