[논문 리뷰] A Spreadsheet Auditing Tool Evaluated in an Industrial Context

Markus Clermont, Christian Hanin외 1명|ArXiv.org|2008. 05. 12.

Spreadsheets and End-User Computing참고 문헌 19인용 수 32

한 줄 요약

이 논문은 산업용 대규모 임무 핵심 스프레드시트에서 오류를 탐지하기 위해 공식의 구조를 분석하는 세 가지 유사성 기준(복사, 논리적, 구조적 동치)을 통해 설계된 스프레드시트 감사 도구를 평가한다. 이 도구는 유사한 공식을 동치 클래스로 그룹화하고 별도의 연결된 창에 의존성과 패턴을 시각화하여 복잡한 스프레드시트에서 이질성을 식별할 수 있도록 한다; 연구는 78개의 실제 산업 스프레드시트(60,446개 셀 포함)를 대상으로 도구를 검증하여 산업 현장에서의 효과성을 입증하였다.

ABSTRACT

Amongst the large number of write-and-throw-away spreadsheets developed for one-time use there is a rather neglected proportion of spreadsheets that are huge, periodically used, and submitted to regular update-cycles like any conventionally evolving valuable legacy application software. However, due to the very nature of spreadsheets, their evolution is particularly tricky and therefore error-prone. In our strive to develop tools and methodologies to improve spreadsheet quality, we analysed consolidation spreadsheets of an internationally operating company for the errors they contain. The paper presents the results of the field audit, involving 78 spreadsheets with 60,446 non-empty cells. As a by-product, the study performed was also to validate our analysis tools in an industrial context. The evaluated auditing tool offers the auditor a new view on the formula structure of the spreadsheet by grouping similar formulas into equivalence classes. Our auditing approach defines three similarity criteria between formulae, namely copy, logical and structural equivalence. To improve the visualization of large spreadsheets, equivalences and data dependencies are displayed in separated windows that are interlinked with the spreadsheet. The auditing approach helps to find irregularities in the geometrical pattern of similar formulas.

연구 동기 및 목표

• 크리티컬한 역할을 하면서도 자주 간과되는 대규모로 진화하는 스프레드시트에서의 높은 오류율을 해결하기 위해.
• 구조적 및 공식적 불일치를 탐지함으로써 스프레드시트 품질을 향상시키는 감사 도구를 개발하고 검증하기 위해.
• 통제된 실험 환경을 넘어서 실제 산업 환경에서 도구의 실용적 효과성을 평가하기 위해.
• 오류 탐지를 지원하기 위해 공식 패턴과 데이터 의존성에 대한 강화된 시각화를 감사자에게 제공하기 위해.
• 동치 클래스 분석을 통해 공식 기하학적 배치에서의 이질성을 식별하는 방법론을 수립하기 위해.

제안 방법

• 감사 도구는 세 가지 유사성 기준에 기반해 공식을 동치 클래스로 분류한다: 복사 동치(동일한 공식 패턴), 논리적 동치(동일한 논리적 구조), 구조적 동치(동일한 공식 트리 구조).
• 도구는 주 스프레드시트 인터페이스와 동기화된 별도의 상호작용 창에서 공식 동치성과 데이터 의존성을 시각화한다.
• 이 접근법은 공식 파싱 엔진을 사용해 구조적 및 논리적 특징을 추출하여 셀 간 자동 비교를 가능하게 한다.
• 시스템은 유사한 공식의 공간 분포에서 비정상적인 패턴(예: 누락되거나 일관되지 않은 패턴)을 강조하여 상호작용 탐색을 지원한다.
• 도구는 국제 기업의 78개 실제 통합 스프레드시트에 적용되었으며, 비어 있지 않은 셀 총 60,446개가 포함되었다.
• 검증 과정은 식별된 이면적 이상을 수동으로 점검함으로써 도구가 의미 있는 오류를 효과적으로 노출시킬 수 있음을 확인하였다.

실험 결과

연구 질문

• RQ1 공식 기반 감사 도구는 대규모 산업용 스프레드시트에서 구조적 및 논리적 불일치를 효과적으로 탐지할 수 있는가?
• RQ2 도구의 동치 분류(복사, 논리적, 구조적)는 실제 사례에서 오류 탐지에 얼마나 잘 기여하는가?
• RQ3 공식 동치성과 데이터 의존성의 시각적 분리가 감사자의 효율성을 얼마나 향상시키는가?
• RQ4 유사한 공식의 기하학적 레이아웃에서 이질성을 식별하는 데 도구의 신뢰도는 어느 정도인가?
• RQ5 복잡한 레거시 스프레드시트를 가진 산업 환경에서 도구를 실질적으로 검증할 수 있는가?

주요 결과

• 감사 도구는 78개의 산업 스프레드시트에서 다수의 공식적 불일치와 오류를 성공적으로 식별하였으며, 유사한 셀들 사이에서 잘못된 위치나 일관되지 않은 공식을 포함한 오류를 발견하였다.
• 복사, 논리적, 구조적 동치라는 세 가지 명확한 유사성 기준의 활용이 패턴의 이질성을 포괄적으로 탐지하는 데 기여하였다.
• 공식 동치성과 데이터 의존성 시각화 창을 별도로 분리하고 상호 연결함으로써 감사자의 복잡한 스프레드시트 탐색 및 분석 능력이 크게 향상되었다.
• 도구의 시각화 기능은 표준 스프레드시트 검토 방식으로는 드러나지 않는 오류를 감사자가 탐지하는 데 도움이 되었으며, 특히 반복적인 큰 공식 구조에서 두드러졌다.
• 현장 평가를 통해 도구의 실용적 유용성이 실제 산업 환경에서 확인되었으며, 엔터프라이즈 수준의 스프레드시트 품질 보증 프로세스에의 통합 가능성을 입증하였다.
• 연구는 도구가 자주 업데이트되고 사업 운영에 핵심적인 역할을 하는 레거시 스프레드시트의 오류를 식별하는 데 효과적임을 검증하였다.