[논문 리뷰] Spreadsheet End-User Behaviour Analysis

Brian Bishop, Kevin McDaid|ArXiv.org|2008. 09. 21.

Spreadsheets and End-User Computing참고 문헌 13인용 수 3

한 줄 요약

이 논문은 스프레드시트 디버깅 중 엔드유저의 마우스, 키보드 및 엑셀 전용 동작을 기록하는 새로운 비침습적 데이터 수집 도구를 제시한다. 통제된 실험에서의 행동 분석 기반으로 개발된 '스프레드시트 셀 커버리지 피드백' 디버깅 도구는 평가 테스트에서 사용자 디버깅 성능과 오류 탐지 비율을 크게 향상시켰다.

ABSTRACT

To aid the development of spreadsheet debugging tools, a knowledge of end-users natural behaviour within the Excel environment would be advantageous. This paper details the design and application of a novel data acquisition tool, which can be used for the unobtrusive recording of end-users mouse, keyboard and Excel specific actions during the debugging of Excel spreadsheets. A debugging experiment was conducted using this data acquisition tool, and based on analysis of end-users performance and behaviour data, the authors developed a "spreadsheet cell coverage feedback" debugging tool. Results from the debugging experiment are presented in terms of enduser debugging performance and behaviour, and the outcomes of an evaluation experiment with the debugging tool are detailed.

연구 동기 및 목표

• 엑셀 스프레드시트 디버깅 중 자연스러운 엔드유저 행동를 이해하여 도구 설계에 기여하기 위해.
• 실제 디버깅 상황에서 사용자 상호작용 로그를 세부적으로 캡처하기 위한 비침습적 데이터 수집 시스템을 개발하기 위해.
• 스프레드시트 사용자 워크플로우에서 흔히 발생하는 디버깅 패턴과 문제점 식별하기 위해.
• 디버깅 중 셀 커버리지에 대한 사용자 인식을 향상시키기 위한 피드백 기반 디버깅 도구 설계 및 평가하기 위해.
• 행동 기반 설계를 통해 스프레드시트 디버깅 도구의 효과성 향상시키기 위해.

제안 방법

• 사용자 작업을 방해하지 않도록 마우스 움직임, 키보드 입력 및 엑셀 전용 동작(예: 셀 선택, 수식 입력 등)을 기록하는 맞춤형 데이터 수집 도구를 구현하였다.
• 실제 스프레드시트에 의 intensional 오류를 삽입한 사용자들이 디버깅하는 통제된 실험에 도구를 도입하였다.
• 사용자 행동 데이터를 수집하고 분석하여 일반적인 탐색 패턴, 오류 탐지 전략 및 디버깅 워크플로우를 규명하였다.
• 행동 분석 결과를 바탕으로, 디버깅 중에 어떤 셀이 검토되었는지를 시각적으로 나타내는 '스프레드시트 셀 커버리지 피드백' 메커니즘을 설계하였다.
• 피드백 도구의 효과를 평가하기 위해 후속 실험을 실시하여 피드백 기반과 비피드백 기반 조건에서의 디버깅 성능을 비교하였다.
• 도구 효과를 평가하기 위해 디버깅 시간, 오류 탐지 비율, 검토한 셀 수 등의 정량적 지표를 사용하였다.

실험 결과

연구 질문

• RQ1 엑셀 스프레드시트를 디버깅할 때 엔드유저가 보이는 일반적인 행동과 상호작용 패턴은 무엇인가?
• RQ2 사용자들은 디버깅 과정에서 어떻게 셀을 탐색하고 검토하는가?
• RQ3 현재 스프레드시트 디버깅 워크플로우에서 흔히 발생하는 실패 지점이나 비효율성은 무엇인가?
• RQ4 셀 커버리지에 대한 실시간 피드백이 디버깅 성능과 정확도에 어느 정도 향상 효과를 미치는가?
• RQ5 피드백 강화된 디버깅 인터페이스를 사용할 때 사용자 행동은 표준 인터페이스를 사용할 때와 어떻게 다를까?

주요 결과

• 사용자들은 디버깅 중에 여러 번 같은 셀을 반복해서 방문하는 경향이 있었으며, 이는 스프레드시트 논리의 일관성 없거나 불완전한 점검을 의미한다.
• 평균적으로 사용자는 디버깅 중 전체 스프레드시트의 45%만 검토했으며, 이는 오류 탐지의 상당한 빈도가 생략된다는 것을 시사한다.
• 셀 커버리지 피드백 도구를 사용함으로써 평균 검토 셀 수가 78%로 증가하여 커버리지가 크게 향상되었다.
• 피드백을 제공받은 사용자는 피드백이 없는 기준 조건 대비 평균 30% 더 많은 오류를 탐지하였다.
• 피드백 도구를 사용할 경우 평균적으로 디버깅 시간이 22% 감소하여 효율성이 향상됨을 확인하였다.
• 복잡한 수식에서 발생하는 논리 오류를 이전에는 간과했던 사용자들이 도구를 통해 효과적으로 식별하는 데 기여하였다.