[논문 리뷰] SciOps: Achieving Productivity and Reliability in Data-Intensive Research

Erik C. Johnson, Thinh T. Nguyen외 17명|arXiv (Cornell University)|2023. 12. 29.

Scientific Computing and Data Management인용 수 4

한 줄 요약

이 논문은 신경과학 분야의 과학적 운영을 향상시키기 위해 자동화, FAIR 데이터, 통합 워크플로우를 통해 생산성과 신뢰성을 높이기 위한 다섯 단계의 능력 성숙도 모델인 SciOps를 소개한다. DevOps, DataOps, MLOps 원칙을 적응함으로써 팀은 재현 가능하고 인공지능이 통합된 연구를 확장할 수 있으며, 높은 성숙도 수준에서는 폐쇄형 실험과 변혁적 발견이 가능해진다.

ABSTRACT

Scientists are increasingly leveraging advances in instruments, automation, and collaborative tools to scale up their experiments and research goals, leading to new bursts of discovery. Various scientific disciplines, including neuroscience, have adopted key technologies to enhance collaboration, reproducibility, and automation. Drawing inspiration from advancements in the software industry, we present a roadmap to enhance the reliability and scalability of scientific operations for diverse research teams tackling large and complex projects. We introduce a five-level Capability Maturity Model describing the principles of rigorous scientific operations in projects ranging from small-scale exploratory studies to large-scale, multi-disciplinary research endeavors. Achieving higher levels of operational maturity necessitates the adoption of new, technology-enabled methodologies, which we refer to as SciOps. This concept is derived from the DevOps methodologies that have revolutionized the software industry. SciOps involves digital research environments that seamlessly integrate computational, automation, and AI-driven efforts throughout the research cycle-from experimental design and data collection to analysis and dissemination, ultimately leading to closed-loop discovery. This maturity model offers a framework for assessing and improving operational practices in multidisciplinary research teams, guiding them towards greater efficiency and effectiveness in scientific inquiry.

연구 동기 및 목표

• 산업계와 비교해 신경과학 연구 분야에서의 운영 성숙도 격차가 커지고 있음에 따라, 협업, 재현 가능성, 자동화가 부족한 상황을 해결하기 위해.
• 대규모 뇌과학 프로젝트에서 비효율의 근본 원인을 특정화하기 위해, 즉 분산된 워크플로우, 나쁜 데이터 통합, 표준화된 절차 부족.
• 신경과학에 특화된 다섯 단계의 능력 성숙도 모델(CMM)을 제안하여 팀이 확장 가능하고 자동화된, 재현 가능한 연구 운영으로 나아갈 수 있도록 안내하기 위해.
• 기술 기반의 방법론을 통해 뇌과학 팀이 일시적인 관행(수준 1–2)에서 인공지능 기반의 폐쇄형 실험(수준 5)으로 전환할 수 있도록 지원하기 위해.
• 상호운용 가능한 디지털 플랫폼, 개방형 표준, 공동 사용 인프라의 도입을 통해 생태계 전체의 일치를 촉진하여 장기적 지속 가능성과 확장성을 지원하기 위해.

제안 방법

• 소프트웨어 공학에서 유래한 CMMI 프레임워크를 적응하여, 뇌과학 분야에 특화된 다섯 단계의 운영 성숙도 수준을 가진 능력 성숙도 모델을 구축하기 위해.
• 팀 구성, 공식적 절차, 데이터 관리, 소프트웨어 개발, 계산 인프라 등 핵심 기준을 정의하여 성숙도 진전을 평가하고 안내하기 위해.
• DevOps, DataOps, MLOps 원칙을 통합한 SciOps를 방법론으로 도입하여 실험 워크플로우 자동화, 재현 가능성 향상, 실시간 데이터 처리를 가능하게 하기 위해.
• 확장 가능하고, 버전 관리가 가능하며, 감사 가능한 연구 파이프라인을 지원하기 위해 FAIR(찾기 쉬운, 접근 가능한, 상호운용 가능한, 재사용 가능한) 데이터 기준과 디지털 플랫폼의 사용을 강조하기 위해.
• 인공지능 모델을 자동화된 워크플로우에 통합하여 가설 생성, 실험 최적화, 데이터 해석을 위한 발견 루프에 AI를 통합함으로써, 연구의 지능화를 촉진하기 위해.
• DANDI, OpenNeuro, SPARC, BrainLife와 같은 공동체 승인 플랫폼과 DataJoint Works, Inscopix IDEAS와 같은 상업적 도구의 도입을 촉진하여 중복 방지를 줄이고 장기적 지속 가능성을 높이기 위해.

Figure 1: The Capability Maturity Model for Scientific Operations in neuroscience research (Neuro SciOps CMM v1.0). We define SciOps as a set methodologies for implementing advanced capabilities.

실험 결과

연구 질문

• RQ1 뇌과학 연구 팀은 어떻게 운영 성숙도를 향상시켜 대규모, 협업 기반, 데이터 집약적인 연구를 지원할 수 있는가?
• RQ2 뇌과학 팀이 일시적인 관행에서 체계적이고 자동화된, 확장 가능한 과학적 운영으로 전환할 수 있도록 안내할 수 있는 체계적인 프레임워크는 무엇인가?
• RQ3 DevOps, DataOps, MLOps 원칙이 뇌과학을 위한 통합된 운영 모델인 SciOps를 만들기 위해 얼마나 잘 적응될 수 있는가?
• RQ4 디지털 플랫폼과 FAIR 준수 인프라는 다양한 뇌과학 팀 간 고급 연구 운영의 도입을 가속화하는 데 어떤 역할을 하는가?
• RQ5 인공지능은 어떻게 과학적 워크플로우에 효과적으로 통합되어 폐쇄형 실험과 발견 가속화를 가능하게 할 수 있는가?

주요 결과

• 대부분의 뇌과학 팀은 현재 성숙도 모델의 수준 1–2에서 운영되며, 비공식적인 절차, 제한된 자동화, 일관되지 않은 데이터 관리가 특징이다.
• 인간 뇌 영상 팀은 실험 신경생리학 팀보다 높은 운영 성숙도를 보이며, 이는 분야 간 표준화의 격차를 시사한다.
• 수준 3 성숙도에 도달하기 위해서는 공동체 기준에 따라 데이터 공유 및 재현 가능성 확보가 필요하며, 이는 자금 지원 정책과 출판사의 요구사항에 의해 주도된다.
• 수준 4 성숙도는 자동화된 워크플로우, 확장 가능한 계산 환경, 효율적인 팀 협업을 특징으로 하며, 일반적으로 대규모 중심 기관에서 관찰된다.
• 수준 5 성숙도는 실시간 데이터 기반으로 모델이 반복적으로 실험을 이끌도록 AI 통합을 통해 폐쇄형 실험을 가능하게 하며, 변혁적 발견 잠재력이 높다.
• DANDI, OpenNeuro, SPARC와 같은 디지털 플랫폼의 성공은 데이터 공유(수준 3)를 넘어서 전면적인 워크플로우 자동화와 상호운용성(수준 4 이상)으로 전환하는 데 달려 있으며, 이는 FAIR 원칙과 개방형 표준에 의해 뒷받침된다.