[논문 리뷰] Seeking Enlightenment: Incorporating Evidence-Based Practice Techniques in a Research Software Engineering Team

Reed Milewicz, Jonathan Bisila외 2명|arXiv (Cornell University)|2023. 12. 22.

Scientific Computing and Data Management인용 수 1

한 줄 요약

이 논문은 샌디아 국립연구소의 연구 소프트웨어 공학(RSE) 팀에서 증거 기반 실천(EBP) 기법—특히 빠른 리뷰—를 적용한 경험 보고서를 제시한다. 빠른 리뷰가 연구 증거를 실용적인 소프트웨어 공학 관행으로 효과적으로 번역할 수 있음을 보여주며, 훈련 필요성, 연구의 불완전성, 이해관계자들의 지지 등 핵심 과제를 밝혀내고, RSE 공동체 내 EBP 도입을 위한 실용적 권고 사항을 제시한다.

ABSTRACT

Evidence-based practice (EBP) in software engineer- ing aims to improve decision-making in software development by complementing practitioners’ professional judgment with high- quality evidence from research. We believe the use of EBP techniques may be helpful for research software engineers (RSEs) in their work to bring software engineering best practices to scientific software development. In this study, we present an experience report on the use of a particular EBP technique, rapid reviews, within an RSE team at Sandia National Laboratories, and present practical recommendations for how to address barriers to EBP adoption within the RSE community.

연구 동기 및 목표

• 증거 기반 실천(EBP) 기법이 연구 소프트웨어 공학(RSE) 환경에서 실현 가능하고 영향을 미치는지 탐색하기.
• 빠른 리뷰를 RSE 팀 내 소프트웨어 공학 결정에 연구 증거를 실천적으로 번역하는 방법으로 사용하는지 조사하기.
• RSE들이 EBP 기법을 도입하는 데 직면하는 장애 요인을 특정하고 이를 극복하기 위한 전략 개발하기.
• 지속적인 학습과 전문성 향상을 지원하기 위해 RSE들의 경력 기간 동안의 학습과 실천 기준 향상에 기여하기.

제안 방법

• RSE 팀원들이 요청한 소프트웨어 공학 주제에 관련된 연구 증거를 요약하는 데 초점을 맞춘 시간 제한이 있는 빠른 리뷰를 제공함.
• 빠른 리뷰를 요청한 RSE들로부터 질적 인터뷰를 통해 피드백을 수집하고 분석함.
• 연구 팀이 EBP 기법이 RSE 업무에 얼마나 적용 가능한지에 대해 비판적 자기 반성 수행함.
• 더 넓은 EBP 문헌에서의 통찰을 종합하여 RSE 실천 내에서 연구 결과를 맥락화함.
• 실무자 피드백과 문헌 리뷰를 융합한 혼합 방법론을 사용하여 빠른 리뷰를 EBP 기법으로 평가함.
• 관찰된 과제와 성공 사례를 바탕으로 EBP 도입을 위한 권고 사항을 개발함.

실험 결과

연구 질문

• RQ1 RSE 환경에서 EBP 기법으로서의 빠른 리뷰의 강점과 한계는 무엇인가?
• RQ2 RSE들이 일반적으로 EBP 기법을 도입하는 데 직면하는 과제는 무엇인가?
• RQ3 그 과제들을 해결하는 데 도움이 되는 전략은 무엇인가?
• RQ4 EBP는 RSE 워크플로우에 어떻게 통합되어 지속적인 학습과 전문성 향상을 지원할 수 있는가?

주요 결과

• 빠른 리뷰는 소프트웨어 공학 문제의 해결 공간을 매핑하고 연구 결과의 RSE 환경로의 이행 가능성 평가에 효율적인 방법으로 확인됨.
• 빠른 리뷰의 성공 여부는 요청자의 정보 필요사항을 명확히 표현할 수 있는 능력과 리뷰어가 문헌 리뷰를 수행하는 데 있어 훈련된 능력에 크게 의존함.
• 주요 한계 중 하나는 기존 연구의 불완전성으로, 이는 종종 명확한 결론이나 권고를 도출하기 어려움.
• 비-RSE 팀원들은 연구 증거가 강력한 경우에도 도입 전에 지지 확보가 필요로 하며, 이는 이해관계자 참여의 필요성을 강조함.
• RSE들은 종종 소프트웨어 공학 관행에 대한 가치관과 우선순위가 다른 다학제적 팀에서 일하며 EBP 도입에 장애를 만듦.
• RSE 지식의 역할, 전문성, 가치에 대한 공통된 명확성 확보가 성공적인 EBP 통합을 위해 필수적임이 밝혀짐.