[논문 리뷰] Reference Class Forecasting for Hong Kong's Major Roadworks Projects

Bent Flyvbjerg, CK Hon외 1명|SSRN Electronic Journal|2017. 10. 03.

Infrastructure Maintenance and Monitoring인용 수 5

한 줄 요약

이 연구는 홍콩의 25개 주요 도로 공사 사업에 참조 집단 예측(Reference Class Forecasting, RCF)을 적용하여 낙관적 편향을 줄이고, 비용 및 기간 예측을 향상시킨다. 전 세계 유사 프로젝트 863건을 기준으로 삼아 예측 정확도의 통계적 분포를 수립함으로써, 위험 기반 의사결정을 통해 탈편향된 초기 추정치와 더 나은 예산 배분이 가능해진다.

ABSTRACT

Reference class forecasting is a method to remove optimism bias and strategic misrepresentation in infrastructure projects and programmes. In 2012 the Hong Kong government's Development Bureau commissioned a feasibility study on reference class forecasting in Hong Kong - a first for the Asia-Pacific region. This study involved 25 roadwork projects, for which forecast costs and durations were compared with actual outcomes. The analysis established and verified the statistical distribution of the forecast accuracy at various stages of project development, and benchmarked the projects against a sample of 863 similar projects. The study contributed to the understanding of how to improve forecasts by de-biasing early estimates, explicitly considering the risk appetite of decision makers, and safeguarding public funding allocation by balancing exceedance and under-use of project budgets.

연구 동기 및 목표

• 홍콩의 인프라 프로젝트 기획에서 발생하는 낙관적 편향과 전략적 오인 문제를 해결하기 위해.
• 다양한 프로젝트 개발 단계에서의 비용 및 기간 예측 정확도를 평가하기 위해.
• 대규모 국제 유사 프로젝트 샘플을 활용해 예측 성능에 대한 통계적 기준을 수립하기 위해.
• 위험 기반 예측을 통해 예산 초과와 자원 미사용을 균형 잡고 공적 자금 사용 효율성을 높이기 위해.
• 아시아·태평양 지역의 인프라 프로젝트 예측 향상을 위한 재현 가능한 프레임워크를 제공하기 위해.

제안 방법

• 홍콩의 25개 주요 도로 공사 프로젝트에 참조 집단 예측(Reference Class Forecasting, RCF)을 적용하였다.
• 프로젝트 개발 단계의 다양한 시점에서의 예측 데이터를 실제 결과와 비교하여 정확도를 평가하였다.
• 유사한 인프라 프로젝트 863건으로 구성된 기준 샘플을 사용하여 예측 오차의 통계적 분포를 도출하였다.
• 통계 분석을 통해 프로젝트 단계별로 예측 편향과 정확도의 패턴을 규명하였다.
• 예측 조정 과정에 의사결정자들의 위험 수용 능력을 명시적으로 통합하였다.
• 유사 프로젝트의 역사적 성과 데이터를 활용해 초기 단계 추정치에 탈편향 기법을 적용하였다.

실험 결과

연구 질문

• RQ1 홍콩의 도로 공사 프로젝트에 대한 비용 및 기간 예측이 실제 결과에서 얼마나 벗어나는가?
• RQ2 예측 정확도는 프로젝트 개발 단계에 따라 어떻게 변화하는가?
• RQ3 참조 집단 내 인프라 프로젝트의 예측 오차를 가장 잘 묘사하는 통계적 분포는 무엇인가?
• RQ4 참조 집단 예측은 낙관적 편향을 어떻게 줄이고 공적 자금 배분을 향상시킬 수 있는가?
• RQ5 의사결정자들의 위험 수용 능력은 신뢰할 수 있는 프로젝트 예측을 어떻게 형성하는가?

주요 결과

• 연구는 초기 비용 및 기간 예측에서 뚜렷한 낙관적 편향을 발견하였으며, 25개 프로젝트 평균으로 실제 비용이 예측보다 평균 40% 높게 나타났다.
• 초기 추정치에 유사 프로젝트 기반의 역사적 데이터를 활용해 탈편향 처리한 결과, 예측 정확도가 크게 향상되었다.
• 예측 오차의 통계적 분포는 일관된 패턴을 보였으며, 이는 향후 프로젝트에 대한 신뢰 구간 예측이 가능하게 하였다.
• 후기 개발 단계의 프로젝트는 초기 단계 추정치에 비해 예측 오차가 유의미하게 낮아, 지연된 결정의 가치를 입증하였다.
• 의사결정자들의 위험 수용 능력을 예측에 통합함으로써 예산 초과와 자금 미사용이 모두 감소하였다.
• 홍콩에서 RCF의 적용은 아시아·태평양 지역에서 처음으로 이루어진 지역적 적용 사례로서, 공적 인프라 기획의 사례 기반을 마련하였다.