[论文解读] Merger or Not: Accounting for Human Biases in Identifying Galactic Merger Signatures

Erini Lambrides, Duncan J. Watts+10 more|arXiv (Cornell University)|Jun 29, 2021

Galaxies: Formation, Evolution, Phenomena参考文献 71被引用 10

一句话总结

该论文提出了一种贝叶斯概率模型，用于量化并校正人类分类器在星系并合识别中的偏差，显著提高了并合分数估计的准确性。通过建模个体分类器的可靠性并将其纳入统计框架，该方法在模拟数据上实现了99%的准确率，并在真实模拟数据上将真实并合分数恢复至10%以内，从而实现了更稳健的并合研究，并为机器学习提供了更优质的训练数据。

ABSTRACT

Significant galaxy mergers throughout cosmic time play a fundamental role in theories of galaxy evolution. The widespread usage of human classifiers to visually assess whether galaxies are in merging systems remains a fundamental component of many morphology studies. Studies that employ human classifiers usually construct a control sample, and rely on the assumption that the bias introduced by using humans will be evenly applied to all samples. In this work, we test this assumption and develop methods to correct for it. Using the standard binomial statistical methods employed in many morphology studies, we find that the merger fraction, error, and the significance of the difference between two samples are dependent on the intrinsic merger fraction of any given sample. We propose a method of quantifying merger biases of individual human classifiers and incorporate these biases into a full probabilistic model to determine the merger fraction and the probability of an individual galaxy being in a merger. Using 14 simulated human responses and accuracies, we are able to correctly label a galaxy as ''merger'' or ''isolated'' to within 1\% of the truth. Using 14 real human responses on a set of realistic mock galaxy simulation snapshots our model is able to recover the pre-coalesced merger fraction to within 10\%. Our method can not only increase the accuracy of studies probing the merger state of galaxies at cosmic noon, but also can be used to construct more accurate training sets in machine learning studies that use human classified data-sets.

研究动机与目标

• 解决形态学研究中假设人类分类器偏差在样本中均匀分布的问题。
• 开发一种方法，量化人类分类器在星系并合分类中的个体偏差。
• 构建一个概率模型，以校正这些偏差，从而提高并合分数估计的准确性。
• 通过人类分类提高高红移（0.5 < z < 2）并合研究的可靠性。
• 为依赖人类标注数据的机器学习模型生成更准确的训练集。

提出的方法

• 作者使用贝塔分布对每位人类分类器的偏差进行建模，以表示其正确识别并合的概率。
• 应用贝叶斯分层模型，结合每颗星系的14次独立人类分类，估计真实并合概率。
• 该模型使用公式18计算星系处于并合状态的后验概率，整合了分类器的可靠性与不确定性。
• 通过具有已知真实标签的模拟数据集评估分类器准确性，以实现偏差校准。
• 将该模型应用于真实模拟星系数据（VELA+SUNRISE），并引入噪声，以测试其在真实数据上的性能。
• 该框架包含误差约束，当概率的标准差超过10%时，将结果标记为未约束。

实验结果

研究问题

• RQ1 当使用人类分类器时，样本的固有并合分数是否会影响测量到的并合分数、误差和显著性？
• RQ2 是否可以将个体人类分类器的偏差量化并校正于统计模型中，以提高并合分数估计的准确性？
• RQ3 当将概率模型应用于包含人类分类的人造星系图像时，其恢复真实并合分数的准确度如何？
• RQ4 分类器偏差在多大程度上扭曲了高红移星系研究中的并合分数估计？
• RQ5 该方法是否能提升基于人类标注星系形态训练的机器学习模型的训练数据质量？

主要发现

• 在14次模拟人类响应的测试中，该模型对星系是否为“并合”或“孤立”的分类，与真实标签的偏差在1%以内。
• 在14次人类响应的真实模拟星系数据中，该模型将并合前的并合分数恢复至真实值的10%以内。
• 通过整合个体分类器的可靠性，该方法降低了并合分数估计的不确定性，从而实现了更稳健的统计推断。
• 当概率不确定性超过10%时，该模型能识别并标记未约束的分类，提升了结果的可靠性。
• 该框架使得在较少人类分类器参与的情况下，也能对单个星系实现准确的并合概率估计。
• 本研究证明，未经校正的人类偏差会显著扭曲并合分数测量结果，尤其是在高红移样本中。