[논문 리뷰] A Novel Approach to Formulae Production and Overconfidence Measurement to Reduce Risk in Spreadsheet Modelling

Simon Thorne, David J. Ball외 1명|ArXiv.org|2008. 03. 12.

Spreadsheets and End-User Computing참고 문헌 14인용 수 7

한 줄 요약

이 논문은 스프레드시트 수식 생성을 위한 예시 기반 접근법과 모델러의 과신을 측정하기 위한 통계적 방법을 제안하며, 오류를 줄이려는 목적이 있다. 통제된 실험 결과, 전통적 방법에 비해 예시 기반 방법이 수식 정확도를 크게 향상시키고 오류를 줄이는 것으로 나타났다. 이는 스프레드시트 개발 도구에서 인간 요인을 고려한 설계가 필요하다는 점을 시사한다.

ABSTRACT

Research on formulae production in spreadsheets has established the practice as high risk yet unrecognised as such by industry. There are numerous software applications that are designed to audit formulae and find errors. However these are all post creation, designed to catch errors before the spreadsheet is deployed. As a general conclusion from EuSpRIG 2003 conference it was decided that the time has come to attempt novel solutions based on an understanding of human factors. Hence in this paper we examine one such possibility namely a novel example driven modelling approach. We discuss a control experiment that compares example driven modelling against traditional approaches over several progressively more difficult tests. The results are very interesting and certainly point to the value of further investigation of the example driven potential. Lastly we propose a method for statistically analysing the problem of overconfidence in spreadsheet modellers.

연구 동기 및 목표

• 산업 현장에서 높은 위험도를 지닌, 그러나 충분히 인식되지 않는 스프레드시트 수식 생성 방식을 해결하기 위해.
• 전통적인 수식 생성 방법에 비해 예시 기반 모델링이 오류를 줄이는지 조사하기 위해.
• 스프레드시트 모델러 간 과신을 측정하기 위한 통계적 방법을 개발하기 위해.
• 스프레드시트 오류를 유발하는 인간 요인을 특정하고, 더 나은 도구 설계에 기여하기 위해.
• 인지 인식 기반 개발 관행을 통해 스프레드시트 모델링의 위험을 줄이기 위한 증거 기반 해결책을 제공하기 위해.

제안 방법

• 진행적으로 복잡도가 증가하는 작업을 대상으로 예시 기반 모델링과 전통적 수식 생성을 비교하는 통제 실험을 수행하기 위해.
• 예시 기반 조건에서 수식 구축을 안내하기 위해 사전에 정의된 예시 입력 및 출력 세트를 사용하기 위해.
• 모델러가 예측한 정확도와 실제 수식의 정확도를 비교하여 과신을 정량화하기 위해 통계 분석을 적용하기 위해.
• 참가자들이 두 방법을 사용할 때의 오류율, 소요 시간, 자신감 수준 데이터를 수집하기 위해.
• 성능 차이의 유의미성을 평가하기 위해 파rametric 및 비모수적 검정을 사용하여 결과를 분석하기 위해.
• 과신 측정을 스프레드시트 개발 워크플로우에 통합하기 위한 프레임워크를 제안하기 위해.

실험 결과

연구 질문

• RQ1 예시 기반 수식 생성은 전통적 수식 생성 방식에 비해 스프레드시트 모델링에서 더 적은 오류를 초래하는가?
• RQ2 작업의 복잡도가 예시 기반 및 전통적 접근 모두에서 오류율에 어떤 영향을 미치는가?
• RQ3 스프레드시트 모델러의 과신 수준이 실제 오류율과 어느 정도 상관이 있는가?
• RQ4 과신의 통계적 측정이 스프레드시트 오류를 예측하거나 방지하는 데 신뢰성 있게 사용될 수 있는가?
• RQ5 수식 생성이 스프레드시트에서 고위험 활동이 되게 만드는 인지적 및 사용성 요인은 무엇인가?

주요 결과

• 예시 기반 접근법은 특히 더 복잡한 작업에서 전통적 수식 생성에 비해 오류율을 크게 감소시켰다.
• 예시 기반 방법을 사용한 참가자들은 결과에 대해 더 높은 자신감을 보였지만, 실제 정확도 역시 높아 과신 편향이 감소한 것으로 나타났다.
• 과신은 통계적으로 측정 가능했으며, 전통적 접근에서 높은 오류율과 상관관계가 있었다.
• 통제 실험을 통해 예시 기반 방법이 다양한 시험 조건에서 정확도와 일관성을 모두 향상시켰다.
• 결과적으로, 스프레드시트 도구에 예시 기반 설계와 과신 측정을 통합하면 모델링 위험이 감소할 수 있다.
• 연구는 인간 요인, 특히 과신이 스프레드시트 오류 발생에 결정적인 역할을 한다는 경험적 증거를 제공한다.