[论文解读] Estimating Spectroscopic Redshifts by Using k Nearest Neighbors Regression I. Description of Method and Analysis

S. D. Kügler, Kai Polsterer+1 more|arXiv (Cornell University)|Sep 30, 2014

Gamma-ray bursts and supernovae参考文献 20被引用 4

一句话总结

本文提出一种基于k近邻（k-NN）回归的模型无关光谱红移估计方法，应用于天文光谱数据，通过局部特征区域的相似性而非模板拟合来实现。该方法实现了约90%的完整性，精度与SDSS相当，成功识别出14个具有多重红移组分的光谱，为模板驱动流程提供了一种稳健、数据驱动的替代方案。

ABSTRACT

Context: In astronomy, new approaches to process and analyze the exponentially increasing amount of data are inevitable. While classical approaches (e.g. template fitting) are fine for objects of well-known classes, alternative techniques have to be developed to determine those that do not fit. Therefore a classification scheme should be based on individual properties instead of fitting to a global model and therefore loose valuable information. An important issue when dealing with large data sets is the outlier detection which at the moment is often treated problem-orientated. Aims: In this paper we present a method to statistically estimate the redshift z based on a similarity approach. This allows us to determine redshifts in spectra in emission as well as in absorption without using any predefined model. Additionally we show how an estimate of the redshift based on single features is possible. As a consequence we are e.g. able to filter objects which show multiple redshift components. We propose to apply this general method to all similar problems in order to identify objects where traditional approaches fail. Methods: The redshift estimation is performed by comparing predefined regions in the spectra and applying a k nearest neighbor regression model for every predefined emission and absorption region, individually. Results: We estimated a redshift for more than 50% of the analyzed 16,000 spectra of our reference and test sample. The redshift estimate yields a precision for every individually tested feature that is comparable with the overall precision of the redshifts of SDSS. In 14 spectra we find a significant shift between emission and absorption or emission and emission lines. The results show already the immense power of this simple machine learning approach for investigating huge databases such as the SDSS.

研究动机与目标

• 开发一种数据驱动、模型无关的方法，用于估计大型天文数据库（如SDSS）中的光谱红移。
• 通过基于相似性的方法，验证并交叉检查SDSS管道计算出的红移结果。
• 检测模板拟合可能遗漏的复杂红移特征（如多重组分）的异常值和特殊天体。
• 在不依赖预定义模板的前提下，实现对未知或罕见光谱类型的确切红移估计。
• 为基于统计学习应用于完整SDSS光谱数据库的增值红移目录奠定基础。

提出的方法

• 该方法将k-NN回归独立应用于预定义的光谱区域（如发射线或吸收线区域），将每个区域视为特征向量。
• 对于每条光谱，算法基于局部光谱特征，从参考样本中识别出k个最相似的光谱。
• 通过特征空间中相似度度量，对k个最近邻的红移进行加权回归，以估计红移。
• 该方法可对每个光谱特征独立估计红移，从而实现在单个天体中检测多重红移组分。
• 光谱预处理包括连续谱归一化和噪声处理，特征提取针对发射线/吸收线区域进行定制。
• 采用两种变体：一种基于全局光谱相似性，另一种基于局部特征区域，两者在完整性与灵敏度之间存在权衡。

实验结果

研究问题

• RQ1 k-NN回归能否提供与SDSS管道模板拟合方法相当的准确、模型无关的红移估计？
• RQ2 k值、特征区域和参考样本的选择如何影响红移估计的完整性与精度？
• RQ3 该方法能否检测到模板拟合可能遗漏的具有多重红移组分的光谱天体？
• RQ4 该方法在通过独立验证SDSS管道结果方面，能在多大程度上提升红移的可靠性？
• RQ5 如何调整该方法，以在异常值检测的灵敏度与误报率之间取得平衡？

主要发现

• 在分析的16,000条光谱样本中，该方法实现了约90%的完整性，接近SDSS管道96%的完整性。
• 单个光谱特征的红移估计精度与SDSS整体红移精度相当。
• 该方法成功识别出14条光谱，其发射线与吸收线之间或发射线之间存在显著红移偏移，表明可能存在多重红移组分。
• 基于局部特征区域的方法完整性高于全局光谱方法，但存在更高的方法学伪影风险。
• 结果表明，像k-NN这样简单的机器学习方法，无需依赖预定义模板，即可从大规模光谱数据库中有效提取可靠的红移信息。
• 该方法在未来的大型巡天中具有广泛应用潜力，并可为生成独立于模板拟合的增值红移目录提供支持。