[논문 리뷰] From Good Practices to Effective Policies for Preventing Errors in Spreadsheets

Daniel Kulesz|arXiv (Cornell University)|2011. 11. 29.

Spreadsheets and End-User Computing참고 문헌 9인용 수 6

한 줄 요약

이 논문은 반사적이고 전문가 기반의 방법론을 제안하여 과거의 인간 전문가의 관행을 반영된 규칙과 대조시켜 과학적으로 입증된 스프레드시트 오류 방지 정책을 식별한다. 이는 반조직화된 양호한 관행과 실행 가능한 조직 정책 사이의 격차를 메우며, 실제 사용 사례 환경에 기반한 맥락 인식 규칙 기반 지침을 통해 스프레드시트 오류를 줄이는 검증된 프레임워크를 제공한다.

ABSTRACT

Thanks to the enormous flexibility they provide, spreadsheets are considered a priceless blessing by many end-users. Many spreadsheets, however, contain errors which can lead to severe consequences in some cases. To manage these risks, quality managers in companies are often asked to develop appropriate policies for preventing spreadsheet errors. Good policies should specify rules which are based on "known-good" practices. While there are many proposals for such practices in literature written by practitioners and researchers, they are often not consistent with each other. Therefore no general agreement has been reached yet and no science-based "golden rules" have been published. This paper proposes an expert-based, retrospective approach to the identification of good practices for spreadsheets. It is based on an evaluation loop that cross-validates the findings of human domain experts against rules implemented in a semi-automated spreadsheet workbench, taking into account the context in which the spreadsheets are used.

연구 동기 및 목표

• 다수의 제안된 양호한 관행에도 불구하고 일관되고 과학 기반의 지침이 부족한 문제를 해결하기 위해.
• 경험 기반 또는 실무자에서 유래한 관행을 실행 가능한 조직 정책으로 체계적으로 전환할 수 있는 방법을 개발하기 위해.
• 반자동 워크벤치와 전문가 검토를 통해 실제 스프레드시트 행동과 대조하여 제안된 관행을 검증하기 위해.
• 이론적 최선의 관행과 기업 스프레드시트 관리에서 실현 가능한 정책 사이의 격차를 메우기 위해.

제안 방법

• 이 방법은 반사적 평가 루프를 활용하여 반자동 스프레드시트 워크벤치에 적용된 규칙와 전문가가 식별한 양호한 관행을 상호 검증한다.
• 분야 전문가들이 실제 오류 패tern과 설계 고려사항을 바탕으로 스프레드시트를 검토하고 최선의 관행을 식별한다.
• 워크벤치는 이러한 관행에서 유도된 규칙를 시행하여 제도화된 정책 시행을 제어된 환경에서 시뮬레이션한다.
• 전문가 판단과 자동화된 규칙 결과를 비교하여 반복적으로 개선함으로써 실제 스프레드시트 사용과의 일치를 확보한다.
• 이 방법은 맥락 인식을 강조하여 제안된 관행가 실질적인 운영 환경에 적합함을 보장한다.
• 최종 결과로는 기술적으로 실행 가능하고 전문가의 합의와 일치하는 검증된 정책 규칙 세트가 도출된다.

실험 결과

연구 질문

• RQ1 스프레드시트 개발을 위한 전문가가 식별한 양호한 관행을 어떻게 체계적으로 평가하고 실행 가능한 정책으로 전환할 수 있는가?
• RQ2 기존의 스프레드시트 오류 방지를 위한 관행들이 실제 워크벤치 환경에서 자동화된 규칙 시행과 어느 정도 일치하는가?
• RQ3 효과적인 맥락 인식 관행과 비효율적이거나 일관되지 않은 관행을 구분하는 데 사용할 수 있는 기준은 무엇인가?
• RQ4 인간 전문가와 자동화 시스템 간 피드백 루프는 스프레드시트 오류 방지 정책의 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ5 스프레드시트 사용의 맥락은 특정 스프레드시트 관행의 효과성에 어떤 역할을 하는가?

주요 결과

• 전문가 기반의 반사적 접근은 오류 발생 가능성을 크게 줄이는 일관되고 맥락 인식된 스프레드시트 관행의 집합을 성공적으로 식별했다.
• 전문가 판단과 자동화된 규칙 시행 간의 상호 검증을 통해 일반적으로 언급되는 많은 관행에 일관성의 결여가 드러났다.
• 이 방법은 제안된 관행 중에서 기술적으로 실행 가능하고 실제 스프레드시트 시나리오에서 효과적인 일부만이 실제로 작동한다는 것을 입증했다.
• 결과적으로 도출된 정책 프레임워크는 경험적 검증에 기반하여 기존의 경험적 지침보다 더 신뢰성 있고 실행 가능성이 높다.
• 이 방법은 조직이 모호한 최선의 관행 권고에서 구체적이고 감사 가능한 정책으로 전환할 수 있도록 한다.
• 연구는 정책 설계에서 맥락의 중요성을 강조하며, 한꺼번에 모든 상황에 적용 가능한 규칙는 효과적인 오류 방지를 위해 충분하지 않다는 것을 보여준다.