[논문 리뷰] Overspend? Late? Failure? What the Data Say About IT Project Risk in the Public Sector

Alexander Budzier, Bent Flyvbjerg|arXiv (Cornell University)|2013. 04. 16.

Big Data and Business IntelligenceBusiness, Management and Accounting인용 수 16

한 줄 요약

이 논문은 1,355개의 공공부문 IT 프로젝트를 분석하여 예산 및 일정 성과에서의 위험을 평가하며, 정규 모델 기대치인 거의 99% 준수를 고려할 때 25% 이상의 예산 초과가 발생한 프로젝트가 18%에 이르는 것으로 드러났다. 기간과 프로젝트 유형이 주요 위험 요인임을 규명하고, 벤치마킹, 편향 제거 의사결정, 복잡성 감소, 그리고 '마스터빌더' 개발을 통한 최선의 실천 방식 정착이라는 네 가지 근거 기반 해결책을 제안한다.

ABSTRACT

Implementing large-scale information and communication technology (IT) projects carries large risks and easily might disrupt operations, waste taxpayers' money, and create negative publicity. Because of the high risks it is important that government leaders manage the attendant risks. We analysed a sample of 1,355 public sector IT projects. The sample included large-scale projects, on average the actual expenditure was $130 million and the average duration was 35 months. Our findings showed that the typical project had no cost overruns and took on average 24% longer than initially expected. However, comparing the risk distribution with the normative model of a thin-tailed distribution, projects' actual costs should fall within -30% and +25% of the budget in nearly 99 out of 100 projects. The data showed, however, that a staggering 18% of all projects are outliers with cost overruns >25%. Tests showed that the risk of outliers is even higher for standard software (24%) as well as in certain project types, e.g., data management (41%), office management (23%), eGovernment (21%) and management information systems (20%). Analysis showed also that projects duration adds risk: every additional year of project duration increases the average cost risk by 4.2 percentage points. Lastly, we suggest four solutions that public sector organization can take: (1) benchmark your organization to know where you are, (2) de-bias your IT project decision-making, (3) reduce the complexities of your IT projects, and (4) develop Masterbuilders to learn from the best in the field.

연구 동기 및 목표

• 대규모 공공부문 IT 프로젝트의 실제 위험 프로필을 예산 초과 및 일정 지연 측면에서 평가하기.
• 예산 초과 및 일정 지연의 가능성을 크게 증가시키는 요인을 규명하기.
• 관찰된 위험 분포를 정규 모델 기반의 얇은 尾(스무스한 꼬리) 통계 모델과 비교하여 체계적 이탈을 드러내기.
• 공공부문 조직이 IT 프로젝트 실패 비율을 낮추기 위해 실행 가능한 데이터 기반 권고안을 개발하기.

제안 방법

• 평균 예산 1억 3,000만 달러, 평균 기간 35개월인 1,355개의 공공부문 IT 프로젝트 데이터셋 분석.
• 실제 예산 및 일정 결과를 정규 모델 기반의 얇은 꼬리 분포 모델과 비교하기 위한 통계 모델링 적용.
• 프로젝트 유형(예: 데이터 관리, 전자정부 등)으로 분류하여 영역 간 위험 변동성 평가.
• 기간을 위험 요인으로서 정량적 분석하여 프로젝트 기간이 1년 더 길어질수록 증가하는 예산 위험의 증분 측정.
• 조직 성과 벤치마킹을 통해 고성과 기관 식별.
• 실증적 발견과 행동 과학 통찰을 기반으로 한 네 가지 실용적 위험 완화 전략 개발.

실험 결과

연구 질문

• RQ1 대규모 공공부문 IT 프로젝트에서 실제 예산 초과 및 일정 지연 분포는 정규 기대치와 어떻게 다를까?
• RQ2 어떤 프로젝트 유형이 예산 초과 및 일정 지연의 위험이 가장 높은가?
• RQ3 프로젝트 기간이 예산 위험 증가와 어떻게 상관관계가 있는가?
• RQ4 표준 소프트웨어 프로젝트는 맞춤형 개발 프로젝트와 비교해 위험 프로필에서 어떤 차이를 보이는가?
• RQ5 공공부문에서 IT 프로젝트 실패 가능성을 낮추는 데 기여하는 증거 기반 조직 관행는 무엇인가?

주요 결과

• 공공부문 IT 프로젝트의 18%가 예산 초과가 25%를 넘는 이질적 사례이며, 이는 얇은 꼬리 분포 모델 기대치인 1%보다 크게 높다.
• 평균적으로 프로젝트는 계획보다 24% 더 오래 걸리지만, 일반적으로는 예산 초과가 없는 경우가 많다.
• 데이터 관리 프로젝트가 가장 높은 위험을 보이며, 41%가 25% 이상의 예산 초과를 경험했고, 사무관리(23%), 전자정부(21%)가 이어진다.
• 프로젝트 기간이 1년 더 길어질수록 평균 예산 위험은 4.2%p 증가한다.
• 표준 소프트웨어 프로젝트는 예산 초과에 대해 24%의 이질적 사례 비율을 보이며, 예상보다 높은 위험을 나타낸다.
• 본 연구는 네 가지 실용적 해결책을 규명했다: 벤치마킹, 의사결정의 편향 제거, 프로젝트 복잡성 감소, 그리고 최선의 실천 방식을 정착시키기 위한 '마스터빌더' 개발.