[논문 리뷰] Which Sustainable Software Practices Do Scientists Find Most Useful?

Jory Schossau, Greg Wilson|arXiv (Cornell University)|2014. 07. 23.

Green IT and Sustainability참고 문헌 1인용 수 4

한 줄 요약

이 연구는 과학자들에게 지속 가능한 소프트웨어 관행을 가르치기 위해 두 번째로 진행된 Software Carpentry 워크숍의 효과를 평가한다. 사전 및 사후 워크숍 설문조사와 사후 인터뷰를 통해 참가자들이 파이썬 학습, 자원 접근, 프로그래밍의 심리학적 기초를 가장 유용하게 느꼈다는 것이 밝혀졌으며, 제한된 시간 동안에도 유닉스 쉘 사용과 버전 관리 분야에서 뚜렷한 자기 평가 기술 향상이 있었다.

ABSTRACT

We studied scientists who attended two-day workshops on basic software skills to determine which tools and practices they found most useful. Our pre- and post-workshop surveys showed increases in self-reported familiarity, while our interviews showed that participants found learning Python more useful than learning the Unix shell, that they found pointers to further resources very valuable, and that background material---the "why" behind the skills---was also very valuable.

연구 동기 및 목표

• 참가자들이 Software Carpentry 워크숍에 참가한 후 지속 가능한 소프트웨어 관행과 도구를 얼마나 유용하게 느끼는지 평가하기 위해.
• 두 번째로 진행된 워크숍이 참가자들의 핵심 소프트웨어 관행에 대한 자기 평가된 숙련도와 익숙함에 미치는 영향을 평가하기 위해.
• 콘텐츠, 교육법, 자원 등 워크숍의 어떤 요소가 장기적 채택과 인식된 유용성에 가장 기여하는지 파악하기 위해.
• 배경 지식('관행의 배경 이유')과 외부 자원이 워크숍 이후 학습 유지에 어떻게 기여하는지 이해하기 위해.

제안 방법

• 핵심 역량 네 가지(유닉스 쉘, SQL, 버전 관리, 테스팅)에 대해 사전 및 사후 설문조사를 통해 참가자 95명의 자기 평가된 익숙함과 숙련도 변화를 측정하기 위해 시행했다.
• 사전 및 사후 설문에서 유사하지만 서로 다른 어휘를 사용한 순서화 설문지를 활용하여 인식 편향을 줄이고 기술 발전 경로를 추적했다.
• 워크숍 6개월 후 24명의 참가자에게 반구조화된 인터뷰를 실시하여 장기적 유용성과 인식된 이점에 대해 탐구했다.
• 인터뷰 녹취록을 분석하기 위해 개방형, 축합형, 선택형 코딩 기법을 적용하여 '알아차림', '심리학', '자원' 등의 반복되는 주제를 식별했다.
• 설문조사 및 인터뷰 데이터를 분석하여 기술 향상과 특정 워크숍 구성 요소 및 참가자 배경 간의 상관관계를 분석했다.
• 정량적 및 정성적 통합 분석을 통해 다양한 관행과 교육적 요소의 상대적 유용성을 평가했다.

실험 결과

연구 질문

• RQ1 두 번째로 진행된 Software Carpentry 워크숍에 참가한 후 과학자들이 가장 유용하게 느끼는 지속 가능한 소프트웨어 관행은 무엇인가요?
• RQ2 참가자들은 워크숍 이후 핵심 소프트웨어 관행(예: 유닉스 쉘, 버전 관리)에 대해 얼마나 더 익숙함과 숙련도를 느끼는가요?
• RQ3 배경 자료('관행의 배경 이유')와 외부 자원이 학습 유지에 기여하는 데 있어 참가자들이 어떻게 평가하는가요?
• RQ4 콘텐츠 깊이, 교육법, 자원 접근 등 워크숍 경험의 어떤 요소가 가장 유익하거나 향상이 필요한 것으로 참가자들이 인식하는가요?
• RQ5 초기 핵심 역량에 대한 익숙함 수준에 따라 참가자들의 자기 평가 기술 수준은 어떻게 변화하는가요?

주요 결과

• 참가자들이 가장 자주 언급한 워크숍에서 가장 유용한 스킬은 파이썬 학습이었으며, 이는 유닉스 쉘 익숙함조차도 뛰어넘었다.
• 유닉스 쉘에 대한 자기 평가된 익숙함에 있어 뚜렷한 증가가 있었으며(n=43), 대부분의 참가자가 실습을 통해 무지에서 익숙함 수준으로 이동했다.
• 실제 유닉스 쉘 문제 해결 능력이 크게 향상되었으며, 처음에 능력이 없었던 참가자 중 72%가 파이프 명령어를 사용할 수 있게 되었고, 기본 명령줄 지식이 있었던 참가자 중 75%가 파이프라인을 사용할 수 있게 되었다.
• 참가자들은 외부 자원에 대한 안내를 매우 높이 평가했으며, '자원'이라는 용어가 71회 인터뷰에서 언급되어 책, 웹사이트, 비디오 튜토리얼 등을 포함한 자료 접근이 핵심 이점으로 꼽혔다.
• 프로그래밍의 심리학적 기초—예를 들어 인간의 작업 패턴과 효과적인 코딩 습관에 대한 통찰—는 매우 유용하다고 평가되었으며, 한 참가자는 이를 '가장 중요한 것'이라고 평가했다.
• 높은 인식된 가치에도 불구하고, 테스팅 익숙함에는 유의미한 증가가 없었으며, 이는 시간 제약과 워크숍의 마지막 주제로 배치된 탓일 가능성이 높다.