[논문 리뷰] Practical Challenges with Spreadsheet Auditing Tools

Daniel Kulesz, Jan-Peter Ostberg|arXiv (Cornell University)|2014. 01. 28.

Spreadsheets and End-User Computing참고 문헌 10인용 수 5

한 줄 요약

이 논문은 학부생들이 제어된 실험을 통해 14종의 스프레드시트 감사 도구를 평가하여, 스프레드시트 결함 탐지에 유용함에도 불구하고 실제 적용 시 심각한 실무적 과제가 있음을 밝혀냈다. 저자들은 전통적 소프트웨어 공학에서의 정적 분석 최선의 실천 방식을 채택하여 스프레드시트 감사 도구의 신뢰성, 사용성, 결함 탐지 정확도를 향상시켜야 한다고 주장한다.

ABSTRACT

Just like other software, spreadsheets can contain significant faults. Static analysis is an accepted and well-established technique in software engineering known for its capability to discover faults. In recent years, a growing number of tool vendors started offering tools that allow casual end-users to run various static analyses on spreadsheets as well. We supervised a study where three undergraduate software engineering students examined a selection of 14 spreadsheet auditing tools, trying to give a concrete recommendation for an industry partner. Reflecting on the study's results, we found that most of these tools do provide useful aids in finding problems in spreadsheets, but we have also spotted several areas where tools had significant issues. Some of these issues could be remedied if spreadsheet auditing tool vendors would pick up some ideas of static analysis tools for traditional software development and adopt some of their solution approaches.

연구 동기 및 목표

• 실제 환경에서 스프레드시트 감사 도구의 실용적 효과성을 평가하기 위해.
• 기존 스프레드시트 감사 도구에서 반복적으로 나타나는 기술적 및 사용성 문제를 규명하기 위해.
• 현재 도구들이 스프레드시트의 결함 탐지에 산업적 요구를 충족하는지 평가하기 위해.
• 기존 전통적 소프트웨어 공학의 정적 분석 기법을 기반으로 실천 가능한 개선 방안을 제안하기 위해.

제안 방법

• 상용 스프레드시트 감사 도구 14종에 대한 비교 평가를 수행하였다.
• 공급업체의 주장과 시장 점유율을 기반으로 선정하였으며, 주로 정적 분석 기능에 중점을 두었다.
• 기능성, 정확도, 사용성을 평가하기 위해 구조화된 테스트 프레임워크를 적용하였다.
• 기존 결함이 있는 실제 스프레드시트 예제를 사용하여 탐지율과 가짜 경고 수준을 테스트하였다.
• 도구 출력물의 일관성, 보고된 문제의 정밀도 및 명확성에 대해 분석하였다.
• 기존 소프트웨어 공학의 정적 분석에서 유래한 통찰을 바탕으로 스프레드시트 도구의 설계 개선을 제안하였다.

실험 결과

연구 질문

• RQ1 기존 스프레드시트 감사 도구는 실제 스프레드시트에 존재하는 알려진 결함을 얼마나 효과적으로 탐지하는가?
• RQ2 사용성 및 기술적 제약이 스프레드시트 감사 도구의 도입과 신뢰성에 어떤 영향을 미치는가?
• RQ3 현재 도구들은 전통적 소프트웨어 공학에서의 정적 분석 원칙을 어느 정도 활용하고 있는가?
• RQ4 도구 출력물은 문제의 정밀도, 재현율, 보고된 문제의 명확성 측면에서 어떻게 상호 비교 가능한가?
• RQ5 프로그래밍 언어에서 사용되는 정적 분석 기법을 스프레드시트 환경에 적응시켜 어떤 개선을 이룰 수 있는가?

주요 결과

• 대부분의 스프레드시트 감사 도구는 결함 탐지에 도움이 되지만, 품질과 신뢰성 측면에서 상당한 변동성이 존재한다.
• 많은 도구들이 가짜 경고를 보고하거나 중요한 오류를 놓치며, 산업 현장에서의 신뢰도를 저하시킨다.
• 표준화된 보고서 형식이 부족하고 스프레드시트 논리의 해석이 일관되지 않아 도구의 사용성이 저하된다.
• 일부 도구는 순환 참조나 일관되지 않은 데이터 유형과 같은 일반적인 스프레드시트 악성 패턴을 탐지하지 못한다.
• 공급업체는 일반적으로 소프트웨어 공학에서 검증된 정적 분석 기법(예: 데이터 플로우 분석, 테이튼트 추적)을 간과하는 경향이 있다.
• 기존 소프트웨어 공학의 검증된 기법을 도입하면 도구의 정확도와 사용자 신뢰도가 크게 향상될 수 있다.