[논문 리뷰] A Pilot Study Exploring Spreadsheet Risk in Scientific Research

Ghada AlTarawneh, Simon Thorne|arXiv (Cornell University)|2017. 03. 23.

Spreadsheets and End-User Computing인용 수 5

한 줄 요약

이 pilot 연구는 영국 뉴캐슬 대학교의 신경과학 연구에서 스프레드시트 위험을 조사하며, 17명의 연구자들을 대상으로 설문조사와 인터뷰를 실시하였다. 연구 결과, 스프레드시트 오류—나쁜 설계와 부족한 훈련으로 인한 것—는 데이터 무결성, 과학적 타당성, 기관의 명성에 심각한 위협을 가하며, 과학계와 기업계 간의 공통된 위험을 드러낸다.

ABSTRACT

This paper discusses the risks and potential impacts of spreadsheet errors in scientific research data in a Neuroscience research centre in the UK. Spreadsheets usage in neuroscience, or indeed any medical discipline, is a largely unreported area of spreadsheet research. This paper presents a case study exploring the possible risks and impacts of spreadsheet errors in the neuroscience research centre at the University of Newcastle. Data was collected using an online questionnaire with 17 participants and two detailed semi-structured interviews. The analysis highlights that errors in research data may lead to severe impacts such as misleading science and damaged personal and organisational reputations. In addition, many risks factors arise from using spreadsheets such as inadequate design and a lack of training. Spreadsheets are used widely in business and the impacts and risks in these fields have been studied and highlighted in detail. However, scientific research and spreadsheets have also a significant relationship that has not been clarified. The paper also draws out the similarities in spreadsheet practice between the scientific and business communities.

연구 동기 및 목표

• 영국의 신경과학 연구 센터 내 과학 연구에서 스프레드시트 오류의 빈도와 영향을 조사하기 위해.
• 학술 연구 환경에서 스프레드시트 사용과 관련된 주요 위험 요인을 특정하기 위해.
• 과학계와 기업계 간의 스프레드시트 활용 방식과 위험을 비교하기 위해.
• 스프레드시트 오류가 데이터 무결성, 연구 타당성, 기관 명성에 미치는 영향을 평가하기 위해.
• 과학 연구의 데이터 관리에 더 나은 훈련과 거버넌스 관행을 제안하기 위해.

제안 방법

• 뉴캐슬 대학교의 신경과학 연구 센터 소속 17명의 참가자들을 대상으로 온라인 설문조사를 실시하였다.
• 연구자들과의 두 차례의 심층적인 반구조적 인터뷰를 통해 실제 스프레드시트 사용 및 오류 경험을 탐구하였다.
• 스프레드시트 설계, 데이터 처리 방식, 훈련 노출 여부에 관한 질적 데이터를 수집하였다.
• 반복되는 위험 요인, 오류 유형, 연구 결과에 미치는 잠재적 영향을 분석하였다.
• 주제 분석을 통해 스프레드시트 관련 위험과 과제의 패턴을 식별하였다.
• 비즈니스 환경에서 알려진 위험과 비교하여, 위험 노출의 유사점과 차이점을 도출하였다.

실험 결과

연구 질문

• RQ1 신경과학 연구에서 흔히 발생하는 스프레드시트 오류의 유형은 무엇인가?
• RQ2 부적절한 설계와 훈련 부족이 과학 연구에서 스프레드시트 위험을 어떻게 증가시키는가?
• RQ3 스프레드시트 오류가 과학적 타당성과 연구 무결성에 미치는 잠재적 영향은 무엇인가?
• RQ4 과학 연구에서의 스프레드시트 활용 방식은 기업 환경과 어떻게 비교되는가?
• RQ5 스프레드시트 기반 데이터 오류로 인해 발생하는 기관 및 개인의 명성 손상은 어떤가?

주요 결과

• 신경과학 연구에서의 스프레드시트 오류는 오해의 소지가 있는 과학적 결론과 데이터 무결성의 약화를 초래할 수 있다.
• 불충분한 스프레드시트 설계와 부족한 훈련은 오류 위험의 주요 원인으로 확인되었다.
• 연구자들은 오류가 연구 과정의 후반에야 발견되어 복구 비용이 증가한다는 점을 보고하였다.
• 이 연구는 과학계와 기업계 간의 스프레드시트 위험 패턴에 상당한 유사성을 발견하였다.
• 연구자 개인과 기관의 명성 손상은 스프레드시트 오류의 주요 결과로 언급되었다.
• 광범위하게 사용되고 있음에도 불구하고, 과학 연구에서의 스프레드시트 위험은 문헌에서 여전히 부족하게 다뤄지고 있으며 인식되지 않고 있다.