[논문 리뷰] Measuring Spreadsheet Formula Understandability

Felienne Hermans, Deursen, Arie Van외 1명|arXiv (Cornell University)|2012. 08. 04.

Spreadsheets and End-User Computing인용 수 17

한 줄 요약

이 논문은 구조적 및 문법적 특성 분석을 통해 스프레드시트 수식의 이해 가능성에 영향을 주는 메트릭스 세트를 제안한다. EUSES 코퍼스에서 실시한 사용자 실험을 통해 수식 복잡도—범위 수, 중첩 깊이, 조건부 연산을 측정한 바, 이는 이해 난이도를 크게 증가시키며, 작업 성과와 강한 상관관계를 보임을 발견함.

ABSTRACT

Spreadsheets are widely used in industry, because they are flexible and easy to use. Often they are used for business-critical applications. It is however difficult for spreadsheet users to correctly assess the quality of spreadsheets, especially with respect to the understandability. Understandability of spreadsheets is important, since spreadsheets often have a long lifespan, during which they are used by several users. In this paper, we establish a set of spreadsheet understandability metrics. We start by studying related work and interviewing 40 spreadsheet professionals to obtain a set of characteristics that might contribute to understandability problems in spreadsheets. Based on those characteristics we subsequently determine a number of understandability metrics. To evaluate the usefulness of our metrics, we conducted a series of experiments in which professional spreadsheet users performed a number of short maintenance tasks on a set of spreadsheets from the EUSES spreadsheet corpus. The results of these tests clearly indicate that the number of ranges, the nesting depth and the presence of conditional operations in formulas significantly increase the difficulty of understanding a spreadsheet.

연구 동기 및 목표

• 실제 사용 환경에서 스프레드시트 수식의 이해 가능성에 장애가 되는 요인을 특정하기.
• 산업용 스프레드시트 응용 프로그램에서 수식 이해 가능성 평가에 사용 가능한 측정 가능하고 실행 가능한 메트릭스 개발하기.
• 이러한 메트릭스가 유지 보수 작업에서 사용자 성과에 미치는 실질적 영향 평가하기.
• 특정 수식 특성과 이해 난이도 간의 인과관계를 실증적으로 입증하기.
• 자동화된 이해 가능성 평가를 통해 스프레드시트 품질 및 유지보수성 향상 도구 개발 지원하기.

제안 방법

• 수식 이해 문제 기여 요소를 특정하기 위해 40명의 스프레드시트 전문가 인터뷰 실시.
• 소프트웨어 공학 및 인지 부하 원칙 기반 메트릭스 설계를 위한 관련 연구 분석.
• 수식 내 범위 수, 중첩 깊이, 조건부 연산 존재 여부 등 메트릭스 세트 정의.
• 사용자 실험을 위한 유지 보수 작업을 포함한 20개의 스프레드시트 EUSES 코퍼스에서 선정.
• 수식 이해가 필요한 작업에서 사용자 성과(시간 및 정확도) 측정.
• 각 메트릭스와 사용자 작업 성과 간 상관계수 계산하여 유의미성 평가.

실험 결과

연구 질문

• RQ1 스프레드시트 수식의 구조적 및 문법적 특성 중 이해 가능성에 가장 크게 영향을 주는 요소는 무엇인가?
• RQ2 범위 수, 중첩 깊이, 조건부 연산 등의 메트릭스가 사용자 이해 성과와 어떻게 상관관계가 있는가?
• RQ3 이러한 메트릭스가 스프레드시트 수식 유지 보수 난이도를 어느 정도 예측할 수 있는가?
• RQ4 일관되게 높은 오류 발생률이나 더 긴 작업 완료 시간을 유도하는 특정 수식 패턴이 존재하는가?
• RQ5 이러한 메트릭스를 사용해 이해하기 어려울 가능성이 높은 복잡한 수식을 자동으로 경고로 표시할 수 있는가?

주요 결과

• 수식에 사용된 범위 수가 많을수록 작업 완료 시간이 크게 증가하여 이해 난이도가 높아짐을 나타내는 강한 정적 상관관계 보임.
• 함수의 중첩 깊이가 수식 이해 및 수정에 소요되는 시간을 크게 증가시키며, 통계적으로 유의미한 상관관계 보임.
• 수식 내 조건부 연산(예: IF 문) 존재 여부는 작업 소요 시간 연장과 높은 오류 발생률과 강하게 연관됨.
• 이러한 메트릭스 값이 높은 수식(특히 범위 수와 중첩 깊이가 높은 경우)은 사용자에 의해 일관되게 오해되거나 잘못 해석됨.
• 높은 범위 수와 깊은 중첩이 병합된 수식은 성능 저하가 가장 심각하여 이해 가능성에 복합적인 영향을 미침.
• 이러한 메트릭스는 다수의 사용자 작업에서 일관되고 측정 가능한 예측 능력을 보이며, 수식 복잡도 평가에 실용성 입증함.