[논문 리뷰] The QuickReduce data reduction pipeline for the WIYN One Degree Imager

Ralf Kotulla|arXiv (Cornell University)|2013. 10. 18.

Astronomy and Astrophysical Research인용 수 3

한 줄 요약

QuickReduce 파이프라인은 WIYN의 One Degree Imager(ODI)를 위한 빠른, 파이썬 기반의 데이터 감소 시스템으로, 병렬 처리 및 다중 코어 연산을 통해 관측 중 실시간 품질 평가를 가능하게 한다. 이는 전체 캘리브레이션—교차 캐리지 보정, 프린지 제거, 2MASS 기반 천체좌표 해법, 그리고 광도 영점 캘리브레이션—을 수행하며, 200 Mpixel 프레임당 분당 이내 감소 시간을 달성한다. 또한 원시 데이터 다운로드 없이도 클라우드 기반 실시간 처리가 가능한 ODI 포털 및 천체망원경 관측자 인터페이스에 통합되어 있다.

ABSTRACT

Optimizing one's observing strategy while at the telescope relies on knowing the current observing conditions and the obtained data quality. In particular the latter is not straight forward with current wide-field imagers, such as the WIYN One Degree Imager (ODI), currently consisting of 13 detectors, each of them read out in 64 independent cells. Here we present a fast data reduction software for ODI, optimized for a first data inspection during acquisition at the the telescope, but capable enough for science-quality data reductions. The pipeline is coded in pure python with minimal additional requirements. It is installed on the ODI observer's interface and publicly available from the author's webpage. It performs all basic reduction steps as well as more advanced corrections for pupil-ghost removal, fringe correction and masking of persistent pixels. Additional capabilities include adding an accurate astrometric WCS solution based on the 2MASS reference system as well as photometric zeropoint calibration for frames covered by the SDSS foot-print. The pipeline makes use of multiple CPU-cores wherever possible, resulting in an execution time of only a few seconds per frame. As such this QuickReduce pipeline offers the ODI observer a convenient way to closely monitor data quality, a necessity to optimize the observing strategy during the night.

연구 동기 및 목표

• WIYN 망원경에서 ODI 관측 중 실시간 데이터 품질 모니터링을 제공하기 위해.
• 최소한의 컴퓨팅 및 소프트웨어 종속성을 가진 빠른 과학 수준의 데이터 감소를 가능하게 하기 위해.
• 초당 이내에 캘리브레이션된, 천체좌표 및 광도 보정이 완료된 이미지를 제공함으로써 효율적인 관측 전략을 지원하기 위해.
• 원시 데이터 다운로드가 필요 없도록 ODI 포털, 파이프라인, 아카이브(PPA)를 통한 클라우드 기반 처리를 제공함으로써 이를 제거하기 위해.
• 광역 이미저 데이터 감소를 위한 공개 가능하고 IRAF에 의존하지 않으며 파이썬 네이티브인 파이프라인을 제공하기 위해.

제안 방법

• 파이프라인은 13개의 OTA에 걸쳐 병렬로 셀 단위로 감소를 수행하며, 각 OTA의 64개 셀을 하나의 4K×4K 이미지로 조합한다.
• 순차적 탈트렌딩 처리를 수행한다: 교차 캐리지 보정, 오버스캔 감산, 바이어스 및 다크 감산, 비선형성 보정, 그리고 평탄도 보정.
• 포화 및 지속성 픽셀은 현재 및 이전 프레임의 카탈로그를 사용하여 마스킹하여 전하 스며남 현상과 괴로움을 보정한다.
• 프린지 보정은 정적 지도와 Snodgrass & Carry(2013)의 방법에 의해 유도된 시간에 따라 변하는 스케일링 인자를 사용한다.
• 천체좌표 캘리브레이션은 소스 카탈로그를 2MASS 기준과 매칭하여 루트 평균 제곱 < 0.2 arcsec의 정확도를 달성하며, 광도 캘리브레이션은 SDSS 교차 식별을 사용한다.
• 피플러 거품 제거를 위해 로터 앵글에 따라 의존적인 템플릿을 생성함으로써 검출기 및 셀 간의 간격을 제거한다.

실험 결과

연구 질문

• RQ1 200Mpixel 프레임을 13개의 독립된 검출기에서 실시간으로 감소시키기 위한 최적의 접근 방식은 무엇인가?
• RQ2 200Mpixel 프레임을 13개의 독립된 검출기에서 1초 내로 캘리브레이션하고 감소시키는 데 최적의 방법은 무엇인가?
• RQ3 최소한의 종속성을 가진 순수 파이썬 파이프라인이 전통적인 IRAF 기반 파이프라인보다 속도와 사용성 면에서 뛰어나게 성능을 낼 수 있는가?
• RQ4 대규모 포맷의 다중 칩 장치에 대해 천체좌표 및 광도 해법을 안정적으로 유도할 수 있는 방법은 무엇인가?
• RQ5 지상 천문학에서 클라우드 기반 처리가 로컬 데이터 다운로드의 필요성을 얼마나 제거할 수 있는가?

주요 결과

• QuickReduce는 고속 I/O를 갖춘 6코어 머신에서 20~60초 내로 200 Mpixel ODI 프레임을 감소시킨다. 처리 단계에 따라 시간이 달라진다.
• 파이프라인은 ODI 소스 카탈로그를 2MASS 기준과 매칭함으로써 루트 평균 제곱 < 0.2 arcsec의 천체좌표 정확도를 달성한다.
• SDSS 항성 카탈로그와의 교차 식별을 통해 SDSS 영역 내 프레임에 대해 광도 영점 캘리브레이션을 가능하게 한다.
• Snodgrass & Carry(2013)의 신뢰할 수 있는 방법에 의해 도출된 시간에 따라 변하는 스케일링 인자를 사용함으로써 프린지 보정이 효과적이고 적응형이다.
• 파이프라인은 ODI 포털에 성공적으로 통합되어 원시 데이터를 다운로드하지 않고도 클라우드 기반 실시간 감소를 가능하게 한다.
• 코드는 공개 가능하며 IRAF에 의존하지 않으며, 단지 표준 파이썬 과학 패키지와 다중 프로세싱을 사용하여 병렬 처리를 수행한다.