[논문 리뷰] Reducing Overconfidence in Spreadsheet Development

Raymond R. Panko|arXiv (Cornell University)|2008. 04. 07.

Spreadsheets and End-User Computing참고 문헌 35인용 수 18

한 줄 요약

이 논문은 스프레드시트 개발자들 사이의 과신 현상에 대해 조사하고, 체계적인 오류 점검 절차를 통해 이를 줄이는 방법을 시험한다. 두 개의 실험을 통해 과신이 널리 퍼져 있으며, 경미한 간섭 조치가 오류를 크게 줄이는 것으로 나타났다. 이는 표적 교육과 검증 기법이 스프레드시트의 신뢰성을 향상시킬 수 있음을 시사한다.

ABSTRACT

Despite strong evidence of widespread errors, spreadsheet developers rarely subject their spreadsheets to post-development testing to reduce errors. This may be because spreadsheet developers are overconfident in the accuracy of their spreadsheets. This conjecture is plausible because overconfidence is present in a wide variety of human cognitive domains, even among experts. This paper describes two experiments in overconfidence in spreadsheet development. The first is a pilot study to determine the existence of overconfidence. The second tests a manipulation to reduce overconfidence and errors. The manipulation is modestly successful, indicating that overconfidence reduction is a promising avenue to pursue.

연구 동기 및 목표

• 스프레드시트 개발자들이 자신의 작업 정확성에 대해 과신을 하는지 여부를 조사하는 것.
• 과신이 스프레드시트에서 오류가 많이 발생하는 데 기여하는지 여부를 검토하는 것.
• 과신을 줄이고 오류 탐지를 향상시키는 실용적인 간섭 조치를 시험하는 것.
• 스프레드시트 오류를 줄이기 위해 체계적인 개발 후 검증을 시행하는 효과를 평가하는 것.
• 스프레드시트 개발 관행을 향상시키기 위한 근거 기반 전략을 제공하는 것.

제안 방법

• 스프레드시트 개발자들 사이에 과신이 존재하는지 확인하기 위해 예비 연구를 수행했다.
• 과신을 줄이기 위한 체계적인 오류 점검 절차를 포함한 간섭 조치를 설계했다.
• 통제된 환경에서 스프레드시트를 개발하는 참가자들에게 간섭 조치를 시행했다.
• 간섭 조치 이전과 이후에 오류 비율과 자가 평가 정확도를 측정했다.
• 그룹 간 오류 탐지 성능을 비교하기 위해 통계 분석을 사용했다.
• 과신과 오류 비율의 변화를 평가하기 위해 사전 및 사후 테스트를 포함한 통제된 실험 설계를 적용했다.

실험 결과

연구 질문

• RQ1 스프레드시트 개발자들은 자신의 스프레드시트 정확성에 대해 과신을 보이는가?
• RQ2 과신이 스프레드시트 개발 과정에서 발견되지 않은 오류에 얼마나 기여하는가?
• RQ3 간단하고 체계적인 간섭 조치로 과신을 줄이고 오류 탐지를 향상시킬 수 있는가?
• RQ4 과신을 줄이면 스프레드시트 오류가 측정 가능한 정도로 감소하는가?
• RQ5 스프레드시트 작업의 개발 후 검증을 향상시키는 데 실용적으로 사용할 수 있는 기법은 무엇인가?

주요 결과

• 과신은 스프레드시트 개발에서 중요한 요인으로 확인되었으며, 개발자들은 자주 자신의 오류 없는 정확도를 과대평가했다.
• 간섭 조치는 자가 평가와 실제 오류 수의 일치도 향상된 것으로 나타나 과신이 실제로 줄어들었다.
• 간섭 조치 이후 오류 탐지 비율이 유의미하게 증가하여 결함을 더 잘 식별하는 데 기여했다.
• 간섭 조치로 인해 최종 스프레드시트에서 발견되지 않은 오류의 수가 측정 가능한 정도로 감소했다.
• 심지어 개발 관행에 대한 경미한 변화라도 스프레드시트 신뢰성 향상에 의미 있는 영향을 미칠 수 있음을 시사한다.
• 이 연구는 스프레드시트 개발 워크플로우에 체계적인 검증을 통합하는 데 실증적 근거를 제공한다.