[논문 리뷰] Your data is your dogfood: DevOps in the astronomical observatory

Frossie Economou, Joshua Hoblitt외 1명|arXiv (Cornell University)|2014. 07. 24.

Scientific Computing and Data Management참고 문헌 10인용 수 7

한 줄 요약

이 논문은 천체망원경에서 기능적 사일로를 해소하기 위해 DevOps 관행—특히 '인프라스트럭처를 코드로'하고 내부 도구 사용('자신의 개운개운을 먹기')—을 적용할 것을 제안한다. 데이터를 첫 번째로 다루는 공유 인터페이스로 간주하고 자동화된, 버전 관리되는 시스템을 사용함으로써 천체망원경은 협업을 향상시키고 배포의 부담을 줄이며 표준화되고 민첩한 소프트웨어 관행을 통해 과학 워크플로우를 가속화할 수 있다.

ABSTRACT

DevOps is the contemporary term for a software development culture that purposefully blurs distinction between software development and IT operations by treating "infrastructure as code." DevOps teams typically implement practices summarised by the colloquial directive to "eat your own dogfood;" meaning that software tools developed by a team should be used internally rather thrown over the fence to operations or users. We present a brief overview of how DevOps techniques bring proven software engineering practices to IT operations. We then discuss the application of these practices to astronomical observatories.

연구 동기 및 목표

• 망원경, 기구, 데이터 감축, 암기 팀 간에 독립적으로 운영되는 기능적 사일로로 인한 분열과 비효율을 해결하기 위해.
• 소프트웨어 개발과 운영 간의 '혼란의 벽'—개발과 운영 간의 애자일한 소통과 이관 부족을 상징하는 것—을 줄이기 위해 소프트웨어 및 운영 관행을 통합하기 위해.
• 버전 제어, 자동화된 테스트, 지속적 통합과 같은 DevOps 원칙을 도입함으로써 소프트웨어 재사용성과 배포 효율성을 향상시키기 위해.
• 데이터 및 메타데이터를 더 접근 가능하고 자가 문서화되며 기구적으로 실행 가능한 형태로 만들기 위해 데이터 제품의 내부 소비를 촉진하여 천체망원경 파이프라인 전 단계에서의 가용성을 높이기 위해.
• 소프트웨어와 인프라에 대해 신속하게 반복할 수 있는 교차 기능적, 포괄적인 팀을 구성하여 배포까지의 시간을 단축하고 시스템 신뢰성을 높이기 위해.

제안 방법

• 구성 관리 도구(예: Puppet)를 사용해 '인프라스트럭처를 코드로' 구현하여 시스템 구성 설정을 정의하고 버전 관리하며, 서버를 구성 가능한 클래스의 인스턴스로 간주하기 위해.
• Git과 같은 버전 제어 시스템을 응용 소스 코드와 인프라스트럭처 설정 모두에 사용하여 분기, 롤백, 감사 기록 기능을 제공하기 위해.
• 단위 테스트, 코드 리뷰, 리팩터링 등의 애자일 소프트웨어 엔지니어링 관행을 시스템 관리 및 데이터 파이프라인 개발에 통합하여 코드 품질과 신뢰성을 향상시키기 위해.
• 컨테이너화 및 가상화를 통해 서비스를 봉인하여 개발, 테스트, 운영 환경 간에 일관되고 안전하며 재현 가능한 런타임 환경을 확보하기 위해.
• 공학 및 과학에 관련된 메트릭(예: 이미지 품질, 데이터 품질 플래그)을 데이터 제품에서 유도하는 모니터링 및 대시보드를 구현하여 실시간 피드백 루프를 가능하게 하기 위해.
• 자체 서비스 접근 및 분석을 가능하게 하기 위해 데이터 포맷과 메타데이터 스키마를 표준화하여 천체망원경 구성 요소 간의 데이터 흐름을 첫 번째로 다루는 API로 간주하기 위해.

실험 결과

연구 질문

• RQ1 DevOps 관행은 천체망원경에서 소프트웨어 개발과 운영 간의 '혼란의 벽'을 어떻게 줄일 수 있는가?
• RQ2 데이터를 '개운개운'으로 간주하는 것—즉, 데이터 제품의 내부 소비—는 망원경, 기구, 데이터 감축, 암기 팀 간의 기능적 사일로를 어떻게 해소할 수 있는가?
• RQ3 천체망원경 IT 시스템에 인프라스트럭처를 코드로 적용하고 버전 제어된 설정을 도입할 경우의 기술적 및 조직적 이점은 무엇인가?
• RQ4 DevOps 원칙은 과거에 코드 공유에 대한 저항이 있었던 분야를 고려할 때, 소프트웨어 재사용성과 협업을 어떻게 향상시킬 수 있는가?
• RQ5 DevOps 관행은 천체망원경 환경에서 과학 소프트웨어 및 데이터 파이프라인의 더 빠르고 안정적이며 확장 가능한 배포를 얼마나까지 가능하게 하는가?

주요 결과

• 인프라스트럭처를 코드로 구현하고 버전 제어를 적용하는 DevOps 관행은 시스템 신뢰성과 배포 빈도를 크게 향상시키며, 고성능 DevOps 팀은 평균 팀 대비 30배 더 자주 배포한다.
• DevOps 도입으로 인해 복구 시간이 기존 IT 운영 대비 12배 향상되었으며, 이는 재현 가능한 코드 기반 시스템 상태 덕분이다.
• 자동화와 인프라스트럭처를 코드로 구현함으로써 천체망원경은 관리자 대 기기 비율이 20,000:1을 초과하는 수준에 도달할 수 있었으며, 이는 2002년 기준 일반적인 10:1에서 20:1 수준을 크게 뛰어넘는다.
• 공학 및 과학 메타데이터를 직접 데이터 파일에 통합하고 모니터링 대시보드를 활용함으로써 천체망원경은 피드백 루프를 닫고 데이터 품질을 사전에 향상시킬 수 있다.
• 표준화되고 자가 문서화된 데이터 포맷과 공개 소프트웨어 호스팅(예: GitHub)을 사용하면 더 넓은 범위의 재사용과 협업이 가능해지며, 중복 개발을 줄이고 과학적 진전을 가속화할 수 있다.
• 자신의 도구와 데이터 제품을 소비하는 교차 기능적, 포괄적인 팀은 더 큰 유연성, 더 빠른 반복, 그리고 관측소 소프트웨어 스택 전반의 기술 부채 감소를 달성한다.