[논문 리뷰] Investigating Effects of Common Spreadsheet Design Practices on Correctness and Maintainability

Daniel Kulesz, Sebastian Zitzelsberger|arXiv (Cornell University)|2012. 11. 29.

Spreadsheets and End-User Computing참고 문헌 17인용 수 6

한 줄 요약

이 실험적 연구는 세 가지 일반적인 스프레드시트 최적 실천 방식—수식 내 상수 회피, 수식 복잡도 최소화, 왼쪽 및 상단의 셀 참조—이 정확성과 유지보수성 향상에 기여하는지 여부를 조사한다. 42명의 참가자가 스프레드시트를 생성하고 수정하는 통제된 실험을 통해, 이러한 실천 방식은 초도 정확성에 영향을 주지 않지만, 후속 수정 시 결과의 정확성을 크게 향상시킨다는 것을 발견했다.

ABSTRACT

Spreadsheets are software programs which are typically created by end-users and often used for business-critical tasks. Many studies indicate that errors in spreadsheets are very common. Thus, a number of vendors offer auditing tools which promise to detect errors by checking spreadsheets against so-called Best Practices such as "Don't put constants in fomulae". Unfortunately, it is largely unknown which Best Practices have which actual effects on which spreadsheet quality aspects in which settings. We have conducted a controlled experiment with 42 subjects to investigate the question whether observance of three commonly suggested Best Practices is correlated with desired positive effects regarding correctness and maintainability: "Do not put constants in formulae", "keep formula complexity low" and "refer to the left and above". The experiment was carried out in two phases which covered the creation of new and the modification of existing spreadsheets. It was evaluated using a novel construction kit for spreadsheet auditing tools called Spreadsheet Inspection Framework. The experiment produced a small sample of directly comparable spreadsheets which all try to solve the same task. Our analysis of the obtained spreadsheets indicates that the correctness of "bottom-line" results is not affected by the observance of the three Best Practices. However, initially correct spreadsheets with high observance of these Best Practices tend to be the ones whose later modifications yield the most correct results.

연구 동기 및 목표

• 일상적으로 권장되는 스프레드시트 설계 실천 방식이 정확성과 유지보수성에 미치는 실제 영향을 평가하기 위해.
• 특정 실천 방식이 스프레드시트의 측정 가능한 품질 향상과 연결됨을 입증하는 데 부족한 경험적 증거를 메우기 위해.
• 최적 실천 방식을 준수할 경우 스프레드시트 개발의 생성 단계와 수정 단계에서 더 정확한 결과를 도출하는지 조사하기 위해.
• 스프레드시트 아티팩트를 체계적으로 감사하고 비교하기 위한 새로운 프레임워크—스프레드시트 감사 프레임워크—를 개발하고 적용하기 위해.
• 동일한 작업을 서로 다른 설계 조건에서 해결하는 소규모, 직접 비교 가능한 스프레드시트 데이터셋을 생성하여 철저한 분석을 수행하기 위해.

제안 방법

• 두 단계로 나누어진 통제된 실험을 수행: 첫 번째 단계는 새로운 스프레드시트를 생성하는 것, 두 번째 단계는 기존 스프레드시트를 수정하는 것.
• 세 가지 최적 실천 방식에 대한 이행 정도가 다른 조건에서 표준화된 스프레드시트 작업을 수행하도록 42명의 참가자를 모집했다.
• 스프레드시트 품질을 체계적으로 평가하기 위한 새로운 구성 키트인 스프레드시트 감사 프레임워크를 활용했다.
• 설계 선택 사항을 기반으로 스프레드시트를 수집하고 비교하였으며, 하위 결과의 정확성과 수정 결과에 중점을 두었다.
• 정량적 지표를 사용하여 정확성과 유지보수성을 평가하였으며, 특히 반복 개발 환경에서의 오류 전파에 초점을 맞췄다.
• 통계적 방법을 사용하여 설계 실천 방식과 결과 품질 간의 상관관계를 분석하였으며, 특히 반복적 개발 맥락에서의 영향을 분석했다.

실험 결과

연구 질문

• RQ1 수식 내 상수를 회피하는 것이 생성 및 수정 단계에서 스프레드시트 결과의 정확성을 향상시키는가?
• RQ2 수식 복잡도를 줄이는 것이 스프레드시트 개발에서 유지보수성과 정확성 향상에 어느 정도 기여하는가?
• RQ3 왼쪽 및 상단의 셀을 참조하는 것이 특히 수정 단계에서 더 나은 결과 정확성과 관련이 있는가?
• RQ4 설계 실천 방식은 스프레드시트 업데이트 중 오류를 유발할 가능성을 어떻게 영향을 미치는가?
• RQ5 최적 실천 방식을 준수하는 스프레드시트는 시간이 지남에 따라 수정될 때 더 오류에 강건한가?

주요 결과

• 세 가지 최적 실천 방식을 준수하더라도 初기 스프레드시트 결과의 정확성에 유의미한 영향을 주지 않았다.
• 그러나 최초로 정확한 스프레드시트를 작성한 참가자 중 실천 방식을 준수한 경우, 수정 후에도 정확한 결과를 도출할 가능성이 유의미하게 높았다.
• 최적 실천 방식을 준수한 스프레드시트에서는 반복적 변경 과정에서 오류 전파에 더 강건한 것으로 나타났다.
• 연구 결과에 따르면 유지보수성 향상 효과는 초기 개발 단계가 아닌 수정 단계에서 더 두드러졌다.
• 스프레드시트 감사 프레임워크는 설계 변형 간 스프레드시트 품질을 체계적이고 비교 가능한 방식으로 평가하는 데 성공했다.
• 결과적으로 최적 실천 방식은 초도 정확성 향상에 기여하지 않지만, 수정 과정에서의 장기적 신뢰성 향상과 오류 감소에 매우 중요하다는 점이 시사된다.