[논문 리뷰] The Astro-WISE Optical Image Pipeline: Development and Implementation

John McFarland, Gijs Verdoes-Kleijn외 4명|arXiv (Cornell University)|2011. 10. 11.

Astronomical Observations and Instrumentation참고 문헌 8인용 수 39

한 줄 요약

이 논문은 WFI 및 OmegaCAM과 같은 기구에서 유입되는 광학적 천문 관측 데이터를 위한 분산형 통합 시스템인 Astro-WISE 광학 이미지 파이프라인을 제시한다. 이 시스템은 원시 데이터에서 과학용 카탈로그에 이르는 종단 간 처리를 가능하게 하며, 전체 데이터 유산 추적 기능을 통해 재현 가능성, 품질 관리, 장기적 보정 재사용성을 보장한다. 이는 KIDS, Vesuvio, OmegaTrans와 같은 대규모 설문 조사에 적합하다.

ABSTRACT

We have designed and implemented a novel way to process wide-field astronomical data within a distributed environment of hardware resources and humanpower. The system is characterized by integration of archiving, calibration, and post-calibration analysis of data from raw, through intermediate, to final data products. It is a true integration thanks to complete linking of data lineage from the final catalogs back to the raw data. This paper describes the pipeline processing of optical wide-field astronomical data from the WFI (http://www.eso.org/lasilla/instruments/wfi/) and OmegaCAM (http://www.astro-wise.org/~omegacam/) instruments using the Astro-WISE information system (the Astro-WISE Environment or simply AWE). This information system is an environment of hardware resources and humanpower distributed over Europe. AWE is characterized by integration of archiving, data calibration, post-calibration analysis, and archiving of raw, intermediate, and final data products. The true integration enables a complete data processing cycle from the raw data up to the publication of science-ready catalogs. The advantages of this system for very large datasets are in the areas of: survey operations management, quality control, calibration analyses, and massive processing.

연구 동기 및 목표

• WFI 및 OmegaCAM과 같은 기구에서 유입되는 페타바이트 규모의 광학 이미징 설문 조사의 관리 및 처리에 대한 증가하는 과제를 해결하기 위해.
• 원시 데이터에서 최종 카탈로그에 이르기까지 모든 처리 단계를 거쳐 전체 데이터 유산을 추적할 수 있는 분산형 통합 시스템을 개발하기 위해.
• 장기적으로 보존되고 보정된 데이터를 재처리하여 변화하는 과학적 요구사항에 부응할 수 있도록 하기 위해.
• 확장 가능하고 협업 기반 환경에서 설문 조사 운영, 품질 관리, 대규모 데이터 처리를 지원하기 위해.

제안 방법

• Astro-WISE 환경(AWE)은 유럽 전역의 분산된 하드웨어 및 인적 자원 간에 아카이빙, 보정, 보정 후 분석을 통합한다.
• 원시 프레임에서 중간 제품을 거쳐 최종 카탈로그에 이르기까지 데이터 유산이 완전히 추적되며, 이는 완전한 재현 가능성과 감사 가능성을 보장한다.
• 접근 권한 수준과 유효성 플래그(is_valid, 품질 플래그, 타임스탬프)를 갖춘 컨텍스트 기반 액세스 모델을 사용하여 데이터 제품의 가시성과 처리를 제어한다.
• 남반천의 데이터를 조직하고 공액합하기 위해 95개의 적위 스트립으로 구성된 천구 격자(스카이그리드)를 사용하며, 필드 크기는 1°×1°이며 상호 겹침 비율은 4–8%로 조정되어 공액합 및 모자이킹에 최적화되어 있다.
• 보정 프로세스는 프로젝트별로 설정 가능하고 버전 관리가 되며, 과학자들이 프로젝트에 맞는 보정을 적용하면서도 원본 데이터의 무결성을 유지할 수 있다.
• 자동화된 품질 관리와 상호작용 가능한 검토 기능을 지원하여 과학자들이 전체 처리 체인을 앞뒤로 탐색할 수 있다.

실험 결과

연구 질문

• RQ1 원시 프레임에서 과학용 카탈로그에 이르기까지 광역 천문 데이터의 전 생애주기를 관리할 수 있는 확장 가능하고 분산된 시스템을 설계하는 방법은 무엇인가?
• RQ2 대규모 설문 조사 처리에서 완전한 데이터 유산 추적과 재현 가능성을 확보하기 위해 필요한 아키텍처 및 메타데이터 메커니즘은 무엇인가?
• RQ3 대규모 데이터셋에서 품질 관리를 자동화하고 상호작용 가능하게 하면서도 원시 데이터로의 완전한 추적 가능성을 유지하는 방법은 무엇인가?
• RQ4 초기 관측 이후 수년이 지난 후 새로운 과학적 용도에 맞게 보정된 데이터를 재처리할 수 있도록 지원하기 위해 필요한 인프라는 무엇인가?
• RQ5 데이터 무결성과 보안을 해치지 않으면서도 협업 기반의 다중 프로젝트 환경에서 액세스 제어와 데이터 가시성을 어떻게 관리할 수 있는가?

주요 결과

• Astro-WISE 파이프라인은 WFI 및 OmegaCAM 기구의 데이터를 성공적으로 처리하여 KIDS, Vesuvio, OmegaWhite, OmegaTrans와 같은 주요 설문 조사의 기초를 마련했다.
• 시스템은 완전한 데이터 유산 추적 기능을 확보하여, 최종 카탈로그가 원천이 되는 원시 데이터로 완전한 메타데이터와 처리 설정을 포함해 추적 가능했다.
• 단일 환경 내에서 아카이빙, 보정, 분석의 통합으로 처리 병목 현상이 감소하고 설문 조사 프로젝트 간 일관성이 향상되었다.
• 95개의 적위 스트립으로 구성된 천구 격자를 활용함으로써 광역 데이터의 효율적인 공액합 및 모자이킹이 가능해졌으며, 필드 겹침 비율은 적위에 따라 3%에서 16%까지 변동되었다.
• 컨텍스트 기반 액세스 및 유효성 플래그 시스템 덕분에 보안이 확보된 프로젝트별 처리가 가능했고, 데이터의 무결성이 유지되며 새로운 과학적 사례에 대한 재처리도 가능했다.
• 파이프라인은 야간에 테라바이트 수준의 데이터를 처리하는 데 있어 확장성과 견고성을 입증했으며, 향후 설문 조사인 LSST와 같은 페타바이트 규모의 요구사항을 충족할 수 있도록 준비되었다.