[논문 리뷰] The Herschel Data Processing System - HIPE and Pipelines - Up and Running Since the Start of the Mission

Stephan Ott, Centre, Herschel Science외 1명|arXiv (Cornell University)|2010. 11. 04.

Astronomical Observations and Instrumentation인용 수 46

한 줄 요약

헤르슐 데이터 처리 시스템(HIPE 및 파이프라인)은 발사 후 첫 수신 후 30분 이내 과학 데이터의 빠른 종단 간 처리를 가능하게 하여 초기 임무 운영 기간 동안 완전한 성숙도를 입증했다. 이 시스템은 세 대의 헤르슐 기구에 걸쳐 데이터 수신, 파이프라인 실행, 과학적 분석을 위한 통합된 오픈소스 기반 자바 환경을 제공하여 임무 시작과 동시에 천문학 공동체가 일관되고 고도의 품질을 갖춘 데이터 제품에 접근할 수 있도록 했다.

ABSTRACT

The Herschel Space Observatory is the fourth cornerstone mission in the ESA science programme and performs photometry and spectroscopy in the 55 - 672 micron range. The development of the Herschel Data Processing System started in 2002 to support the data analysis for Instrument Level Tests. The Herschel Data Processing System was used for the pre-flight characterisation of the instruments, and during various ground segment test campaigns. Following the successful launch of Herschel 14th of May 2009 the Herschel Data Processing System demonstrated its maturity when the first PACS preview observation of M51 was processed within 30 minutes of reception of the first science data after launch. Also the first HIFI observations on DR21 were successfully reduced to high quality spectra, followed by SPIRE observations on M66 and M74. A fast turn-around cycle between data retrieval and the production of science-ready products was demonstrated during the Herschel Science Demonstration Phase Initial Results Workshop held 7 months after launch, which is a clear proof that the system has reached a good level of maturity. We will summarise the scope, the management and development methodology of the Herschel Data Processing system, present some key software elements and give an overview about the current status and future development milestones.

연구 동기 및 목표

• 임무 초기 단계부터 성숙하고 통합적이며 사용자 友好的인 데이터 처리 시스템을 개발하기 위해.
• 비행 운영을 반영하는 시스템을 통해 발사 전 기구 특성 분석 및 지상 테스트를 지원하기 위해.
• 천문학 공동체가 기구 전문가들과 동일한 처리 도구와 데이터 제품에 접근할 수 있도록 보장하기 위해.
• 자동화된 파이프라인과 통합된 처리 환경을 통해 과학 준비 완료 데이터 제품의 신속한 유통을 가능하게 하기 위해.
• 임무의 정규 과학 단계 동안 장기적으로 사용 가능한 확장성 있고 이식 가능하며 오픈소스 기반의 시스템을 구축하기 위해.

제안 방법

• 데이터 처리를 위한 크로스플랫폼 GUI 및 스크립트 기반 인터페이스로, 자바/자파이썬 기반의 헤르슐 인터랙티브 프로세싱 환경(HIPE)을 개발하였다.
• 데이터 수신, 파이프라인 실행, 캘리브레이션, 품질 제어, 과학적 분석을 하나의 유기적인 시스템으로 통합하였다.
• 헤르슐 과학 아카이브(HSA)에 직접 액세스할 수 있도록 데이터 저장, 쿼리, 공유를 관리하는 제품 액세스 레이어를 구현하였다.
• ESAC 컴퓨팅 그룹에 자동화된 파이프라인을 구축하여 레벨 0(원시 태لمetri 데이터), 레벨 1(캘리브레이션 완료된 검출기 데이터), 레벨 2(과학적으로 캘리브레이션된 이미지, 스펙트럼, 큐브) 제품을 생성하였다.
• ESA, 기구 제어 센터, 나사 간 협업 개발 모델을 통해 200명 이상의 기여자와 60명 이상의 정규직 보유자로 구성된 팀을 운영하였다.
• Windows, Linux, Mac OS X 등 여러 운영 체제에 대한 공식 지원을 제공하였으며, 버전화된 릴리스를 통해 이전 및 이후 호환성을 확보하였다.

실험 결과

연구 질문

• RQ1 주요 우주 임무의 초기 운영 단계에 맞추어 통합적이고 확장 가능하며 사용자 친화적인 데이터 처리 시스템을 개발하고 구현할 수 있는 방법은 무엇인가?
• RQ2 하나의 소프트웨어 환경(HIPE)이 복잡한 다기구 데이터를 처리하는 데 있어 전문가 수준의 스크립팅과 비프로그래머 천문학자 모두를 효과적으로 지원할 수 있는가?
• RQ3 헤르슐 데이터가 발사 후 첫 수신 후 30분 이내에 얼마나 높은 성능과 신뢰성을 달성할 수 있는가?
• RQ4 데이터 품질 제어를 자동화된 처리와 전문가 검토와 효율적으로 융합하여 데이터 무결성을 확보할 수 있는가?
• RQ5 장기적인 유지보수성과 공동체의 접근성을 보장하기 위해 어떤 개발 및 배포 모델이 가장 효과적인가?

주요 결과

• M51에 대한 첫 번째 PACS 관측 데이터는 수신 후 30분 이내 과학적 준비 완료 이미지로 처리되어 시스템의 운영 준비성을 입증하였다.
• HIFI의 첫 빛 관측(DR21)에서 인터랙티브 HIPE 환경과 표준 파이프라인을 모두 사용하여 CO 및 H2O 선의 고해상도 스펙트럼을 확보하였다.
• SPIRE의 첫 빛 관측(M66 및 M74)은 HIPE 및 운영 파이프라인을 모두 활용하여 성공적으로 감소 처리되었으며, 시스템의 견고함을 확인하였다.
• 시스템은 NGC6543에서 PACS 이미징 스펙트럼 분석을 신속히 처리하여 은하수 내 새로운 세부 정보를 드러내었다.
• 성능 검증 단계에 대비해 HIPE 1.1이 출시되었으며, 과학 시범 단계 데이터 제품에는 HIPE 1.2가 사용되어 지속적인 발전을 입증하였다.
• HIPE 2.0은 2009년 말 테스트 중이었으며, 다음 해 초에 공동체 배포 예정이었으며, 향후 버전은 정기적인 3개월 주기의 릴리스 계획이 수립되어 있었다.