[논문 리뷰] The Detection of Human Spreadsheet Errors by Humans versus Inspection (Auditing) Software

Salvatore Aurigemma, Raymond R. Panko|arXiv (Cornell University)|2010. 09. 14.

Spreadsheets and End-User Computing참고 문헌 18인용 수 14

한 줄 요약

이 연구는 인위적인 오류를 심지 않은 자연스러운 오류를 사용하여 실제 스프레드시트에서 인간의 오류 탐지 능력과 자동 정적 분석 도구(SSATs)를 비교한다. 결과적으로 인간 검토자가 SSAT의 성능를 따라하거나 뛰어넘었지만, Excel Error Check 및 Spreadsheet Professional과 같은 도구들은 실제 오류에 대해 빈약한 성능을 보여, 현재의 감사 소프트웨어가 실질적인 스프레드시트 오류 탐지에 한계를 가짐을 시사한다.

ABSTRACT

Previous spreadsheet inspection experiments have had human subjects look for seeded errors in spreadsheets. In this study, subjects attempted to find errors in human-developed spreadsheets to avoid the potential artifacts created by error seeding. Human subject success rates were compared to the successful rates for error-flagging by spreadsheet static analysis tools (SSATs) applied to the same spreadsheets. The human error detection results were comparable to those of studies using error seeding. However, Excel Error Check and Spreadsheet Professional were almost useless for correctly flagging natural (human) errors in this study.

연구 동기 및 목표

• 인위적인 오류를 심지 않고 실제 스프레드시트에서 인간의 오류 탐지 성능을 평가하기 위해.
• 정적 분석 도구(SSATs)가 자연적으로 발생한 스프레드시트 오류를 탐지하는 데 얼마나 효과적인지 평가하기 위해.
• 동일한 실제 스프레드시트 데이터 세트를 사용하여 인간의 탐지율과 자동화된 도구의 성능를 비교하기 위해.
• Excel Error Check 및 Spreadsheet Professional과 같은 널리 사용되는 감사 도구들이 실질적인 오류 탐지 시나리오에서 보이는 한계를 규명하기 위해.

제안 방법

• 전문가 및 학술 자료에서 기인한 실제 인간이 개발한 스프레드시트를 수집하여 자연스럽게 발생한 오류를 포함시켰다.
• 사전에 오류 정보를 알지 못한 채 스프레드시트를 수동으로 검토하여 오류를 식별하도록 인간 피실험자를 모집했다.
• 동일한 스프레드시트에 대해 정적 분석 도구인 Excel Error Check 및 Spreadsheet Professional을 적용하여 잠재적 오류를 탐지했다.
• 동일한 오류 세트를 사용하여 인간 검토자와 자동화된 도구 간의 탐지율을 측정하고 비교했다.
• 정성적 분석을 통해 인간과 도구의 성능를 비교하였으며, 오류 탐지의 민감도와 정밀도에 중점을 두었다.
• 조작된 결과를 방지하기 위해 오류를 심는 것을 피하여 실제 오류 탐지 과제의 특성을 반영한 연구를 수행했다.

실험 결과

연구 질문

• RQ1 오류 탐지 도구와 비교할 때 인간 검토자는 자연스럽게 발생한 스프레드시트 오류를 얼마나 효과적으로 탐지하는가?
• RQ2 Excel Error Check 및 Spreadsheet Professional과 같은 널리 사용되는 스프레드시트 감사 도구들이 실제 오류를 얼마나 정확하게 탐지하는가?
• RQ3 이 연구에서 오류를 심지 않은 것이 인간 대 자동 오류 탐지의 상대적 성능에 영향을 미치는가?
• RQ4 자연스러운 오류를 포함한 실제 복잡한 스프레드시트에 적용했을 때 현재 정적 분석 도구의 주요 한계는 무엇인가?
• RQ5 인위적이지 않은 오류 탐지 환경에서 인간 검토자의 탐지율은 자동화된 도구의 탐지율과 어떻게 비교되는가?

주요 결과

• 이전 연구에서 오류를 심은 경우와 비교해도 인간의 오류 탐지율은 유사했으며, 이는 실제 환경에서 인간의 성능가 뛰어남을 시사한다.
• Excel Error Check 및 Spreadsheet Professional은 실제 스프레드시트의 중요한 비율의 오류를 탐지하지 못해 실용적 활용도가 떨어짐을 입증했다.
• 인간 검토자의 탐지 성능은 특히 논리적 오류나 의미적 오류 탐지에서 테스트된 정적 분석 도구를 뛰어넘었다.
• 이 연구는 일반적인 감사 도구들이 자연스러운 오류를 효과적으로 탐지하지 못함을 드러내어 현재 스프레드시트 품질 확보 관행에 심각한 격차가 있음을 시사한다.
• 결과적으로 정적 분석 도구는 특히 맥락 의존적이거나 의미적으로 복잡한 오류에 대해 신뢰할 수 없다는 점을 시사한다.
• 이 연구는 자동화된 도구가 존재하더라도 여전히 인간 검토가 스프레드시트 검증에서 중요한 역할을 한다는 점을 강조한다.