[논문 리뷰] The SOXS scheduler for remote operation at LaSilla:Concept and design

Marco Landoni, D. R. Young외 47명|arXiv (Cornell University)|2020. 12. 23.

Astronomy and Astrophysical Research참고 문헌 9인용 수 5

한 줄 요약

이 논문은 ESO 라 실라의 NTT에서 원격으로 관측을 동적으로 스케줄링할 수 있도록 설계된 고가용성, 웹 기반, RESTful 애플리케이션인 SOXS 스케줄러를 제시한다. 이 시스템은 다양한 설문조사에서 유도된 일시적 천체의 탐지 결과를 통합하고, GTO 및 ESO 제안 시간을 기반으로 우선순위를 정하며, 실시간으로 매일 밤마다 스케줄링을 가능하게 하고, ESO의 P2 시스템과의 동기화 및 자동 알림 기능을 제공한다.

ABSTRACT

In this paper we present the SOXS Scheduler, a web-based application aimed at optimising remote observations at the NTT-ESO in the context of scientific topics of both the SOXS Consortium and regular ESO proposals.This paper will give details of how detected transients from various surveys are inserted, prioritised, and selected for observations with SOXS at the NTT while keeping the correct sharing between GTO time (for the SOXSConsortium) and the regularly approved observing time from ESO proposals. For the 5-years of operation ofSOXS this vital piece of software will provide a night-by-night dynamical schedule, allowing the user to face rapid changes during the operations that might come from varying weather conditions or frequent target of opportunity (ToO) observations that require a rapid response. The scheduler is developed with high available and scalable architecture in mind and it implements the state-of-the-art technologies for API Restful application like Docker Containers, API Gateway, and Python-based Flask frameworks.

연구 동기 및 목표

• ESO NTT에서 원격 운영을 위한 확장 가능하고 신뢰할 수 있는 스케줄러를 설계하여 SOXS 컨sortium의 GTO 시간과 일반적인 ESO 제안 시간을 모두 지원한다.
• 다양한 설문조사에서 유도된 대상-관측 시기(ToO) 일시적 천체를 통합하여 단일 스케줄링 파이프라인으로 통합함으로써 빠른 대응을 가능하게 한다.
• 자동 우선순위 정렬 및 접근 제어를 통해 SOXS GTO 사용자와 ESO 제안 사용자 간의 관측 시간 공정하고 투명한 공유를 보장한다.
• 기상 조건 변화나 급작스러운 관측 요청에 대응하기 위해 야간 중 실시간으로 스케줄 조정이 가능하도록 하며, 실시간 업데이트 및 알림 기능을 제공한다.
• Docker, API Gateway, 데이터베이스 복제를 활용한 고가용성 클라우드 기반 아키텍처를 구현하여 운영 내구성을 확보한다.

제안 방법

• 스케줄러는 최신 기술 기반의 마이크로서비스 아키텍처를 사용한 웹 애플리케이션으로, Flask 프레임워크와 RESTful API를 기반으로 개발되었다.
• 시스템은 Docker를 사용해 컨테이너화되어 있으며, 상용 클라우드 플랫폼(AWS 또는 Digital Ocean)의 자동 스케일링 그룹에 배포되었으며, 로드 밸런싱을 위한 API 게이트웨이를 통해 접근된다.
• 지속적 저장을 위해 관계형 데이터베이스를 사용하며, 장애 복구용 복제본을 설정하여 고가용성과 데이터 내구성을 확보한다.
• 다양한 사용자 역할을 지원한다: 과학 팀, 관리자, 운영자. 각 역할에 맞는 인터페이스와 권한이 부여된다.
• 과학 팀 인터페이스는 관측 블록(OB)의 목록 조회, 필터링, 관리 기능을 제공하며, 급작스러운 OB, 등급 편집, ESO의 P2 시스템과의 동기화도 가능하다.
• 방문자 실행 순서(Visitor Execution Sequence, VES) 인터페이스를 통해 매일 야간 실행을 위한 OB의 동적 선택, 재정렬, 동기화가 가능하며, 이메일, SMS, 브라우저 알림을 통한 실시간 상태 업데이트 및 경고 기능을 제공한다.

실험 결과

연구 질문

• RQ1 공동으로 사용되는 관측 시간 내에서 여러 설문조사에서 유도된 일시적 천체를 중심으로 실시간 스케줄러가 어떻게 효율적으로 관리하고 우선순위를 정할 수 있는가?
• RQ2 다양한 운영 조건에서 동적 운영 조건을 감안할 때 고가용성과 저지연 응답을 보장하는 아키텍처 패턴은 무엇인가?
• RQ3 웹 기반 스케줄러는 ESO의 기존 P2 시스템과 Marshall 서버와 어떻게 통합되어 원활한 실행 및 상태 동기화를 달성할 수 있는가?
• RQ4 자동 알림 및 사용자 알림은 시간이 매우 중요한 관측에 대응하기 위해 어떤 역할을 하는가?
• RQ5 클라우드 네이티브이고 컨테이너 기반의 아키텍처는 임무 핵심 천문학적 스케줄링 시스템의 확장성과 장애 내성에 어떻게 기여하는가?

주요 결과

• SOXS 스케줄러는 GTO 및 ESO 제안 시간을 자동 우선순위 정렬로 지원하면서 ESO NTT에서 야간 단위로 관측을 동적으로 스케줄링하는 데 성공했다.
• 기상 변화나 급작스러운 ToO 대상에 대응하기 위해 야간 중에도 방문자 실행 순서(VES)에 실시간으로 업데이트가 가능하여 빠른 적응이 가능했다.
• Docker 컨테이너, API 게이트웨이, 자동 스케일링 그룹의 사용으로 고부하 상황에서도 고가용성과 수평적 확장성이 확보되었다.
• 장애 복구 기능을 갖춘 데이터베이스 복제를 통해 주 데이터베이스 장애 발생 시에도 데이터 내구성과 시스템 지속성이 확보되었다.
• 스케줄러는 ESO의 P2 시스템과 Marshall 서버와 통합되어 OB 상태 동기화, 발견도 생성, 안전한 OB 저장 기능을 제공한다.
• 과학 팀, 관리자, 운영자에 맞는 역할 기반 접근 제어를 제공하며, 이메일, SMS, 브라우저 알림을 통한 급작스러운 OB에 대한 자동 알림 기능도 구현했다.