[论文解读] Processing Images from the Zwicky Transient Facility

Russ R. Laher, Frank J. Masci+26 more|arXiv (Cornell University)|Aug 4, 2017

Astronomy and Astrophysical Research参考文献 1被引用 4

一句话总结

本文介绍了齐威克瞬变天文台（Zwicky Transient Facility, ZTF）的数据处理流程与归档系统，该系统基于一台60000万像素的相机，视场达47平方度，为全自动光学巡天项目服务。该系统在三年内实现了约1 PB原始数据的实时处理，达到亚实时性能（7.5小时观测数据处理耗时6.2小时），并将处理后的图像、通过孔径测光和PSF拟合生成的源星表，以及差分图像存入一个3 PB的归档系统，供公众于2019年初使用。

ABSTRACT

The Zwicky Transient Facility is a new robotic-observing program, in which a newly engineered 600-MP digital camera with a pioneeringly large field of view, 47~square degrees, will be installed into the 48-inch Samuel Oschin Telescope at the Palomar Observatory. The camera will generate $\sim 1$~petabyte of raw image data over three years of operations. In parallel related work, new hardware and software systems are being developed to process these data in real time and build a long-term archive for the processed products. The first public release of archived products is planned for early 2019, which will include processed images and astronomical-source catalogs of the northern sky in the $g$ and $r$ bands. Source catalogs based on two different methods will be generated for the archive: aperture photometry and point-spread-function fitting.

研究动机与目标

• 设计并实现一个可扩展的实时数据处理流水线，用于处理ZTF产生的高容量图像数据。
• 实现处理后ZTF产品（包括图像、源星表和差分图像）的长期归档，以支持科学发现。
• 通过先进的图像差分技术与机器学习方法，支持瞬变源（如超新星、变星及近地小行星）的探测。
• 于2019年初实现ZTF数据产品的首次公开发布，重点面向公众巡天项目，促进科学界的广泛使用。
• 利用GAIA星表和Pan-STARRS DR1作为参考标准，确保天体测量与测光的准确性。

提出的方法

• 流水线首先对原始图像进行偏置与平场校正，随后利用SCAMP软件与GAIA星表完成天体测量校准，建立世界坐标系。
• 通过Pan-STARRS DR1星表作为标准，执行测光校准，实现绝对测光。
• 采用ZOGY算法及Masci等人（2017）提出的方法进行图像差分处理，以在差分图像中检测瞬变事件。
• 利用机器学习方法对候选瞬变源进行筛选，包括Bloom等人（2012）提出的真/假分类框架。
• 通过findstreaks模块检测小行星拖影，并利用一种新型确定性算法对点扩散函数进行建模以验证结果。
• 处理系统在32台计算机上并行运行，图像四分之一区域独立处理，并基于模拟数据进行性能基准测试。

实验结果

研究问题

• RQ1 如何高效构建一个实时数据处理流水线，以应对ZTF 600-MP相机在三年内产生的1 PB高数据率？
• RQ2 在ZTF流水线中，如何利用GAIA与Pan-STARRS DR1等外部星表确保天体测量与测光的准确性？
• RQ3 在真实观测条件下，图像差分流水线在检测瞬变事件（包括变星与超新星）方面的有效性如何？
• RQ4 处理一整晚ZTF数据的性能指标可达到何种水平，能否实现在亚实时时间内完成？
• RQ5 长期归档系统如何通过标准化、可查询的星表与图像产品，支持多样化的科学应用场景？

主要发现

• ZTF实时流水线在6.2小时内处理完模拟一整晚的数据（7.5小时观测），实现亚实时性能。
• 单个流水线实例的中位运行时间为275.5秒，性能主要受限于源密度与参考图像的可用性。
• 在模拟数据中，参考图像的可用率达到75%，该指标显著影响处理效率。
• ZTF归档产品（包括处理后的图像与通过孔径测光及PSF拟合生成的源星表）的首次公开发布定于2019年初。
• 预计在三年任务结束时，ZTF归档系统将扩展至约3 PB，涵盖差分图像、光 light curves 与校准数据等多种产品。
• 性能基准测试表明，该流水线可扩展至处理高达当前模拟速率8倍的瞬变事件率（当前模拟速率为每CCD 10个瞬变源）。