[論文レビュー] Merger or Not: Accounting for Human Biases in Identifying Galactic Merger Signatures

Erini Lambrides, Duncan J. Watts+10 more|arXiv (Cornell University)|Jun 29, 2021

Galaxies: Formation, Evolution, Phenomena参考文献 71被引用数 10

ひとこと要約

本論文は、銀河合体の識別における人間の分類者のバイアスを定量化・補正するベイジアン確率的モデルを提案しており、合体率の推定精度を顕著に向上させている。個々の分類者の信頼性をモデル化し、それを統計枠組みに組み込むことで、シミュレーションデータでは99％の精度を達成し、実際のモックデータでは真の合体率を10％以内に回復する。これにより、より頑健な合体研究が可能となり、機械学習のためのより良いトレーニングデータが得られる。

ABSTRACT

Significant galaxy mergers throughout cosmic time play a fundamental role in theories of galaxy evolution. The widespread usage of human classifiers to visually assess whether galaxies are in merging systems remains a fundamental component of many morphology studies. Studies that employ human classifiers usually construct a control sample, and rely on the assumption that the bias introduced by using humans will be evenly applied to all samples. In this work, we test this assumption and develop methods to correct for it. Using the standard binomial statistical methods employed in many morphology studies, we find that the merger fraction, error, and the significance of the difference between two samples are dependent on the intrinsic merger fraction of any given sample. We propose a method of quantifying merger biases of individual human classifiers and incorporate these biases into a full probabilistic model to determine the merger fraction and the probability of an individual galaxy being in a merger. Using 14 simulated human responses and accuracies, we are able to correctly label a galaxy as ''merger'' or ''isolated'' to within 1\% of the truth. Using 14 real human responses on a set of realistic mock galaxy simulation snapshots our model is able to recover the pre-coalesced merger fraction to within 10\%. Our method can not only increase the accuracy of studies probing the merger state of galaxies at cosmic noon, but also can be used to construct more accurate training sets in machine learning studies that use human classified data-sets.

研究の動機と目的

• 形態研究における前提である「人間の分類者バイアスがサンプル全体に均等に分布している」という仮定を扱うため。
• 銀河合体分類における個々の人間分類者のバイアスを定量化する手法を開発するため。
• これらのバイアスを補正する確率的モデルを構築し、合体率推定を向上させるため。
• 高赤方偏移（0.5 < z < 2）の銀河研究において、人間による分類を用いて合体研究の信頼性を高めるため。
• 人間ラベル付きデータに依存する機械学習モデルのための、より正確なトレーニングセットを生成するため。

提案手法

• 著者らは、各人間分類者のバイアスを、合体を正しく識別する確率を表すベータ分布を用いてモデル化している。
• 14名の独立した人間分類者による各銀河の分類を統合するため、ベイジアン階層モデルを適用し、真の合体確率を推定している。
• モデルは方程式18を用いて、分類者の信頼性と不確実性を組み込み、銀河が合体状態にある事後確率を計算している。
• シミュレーションデータ（既知の真値を有する）を用いて分類者の正確性を評価し、バイアスのキャリブレーションを可能にしている。
• ノイズを含む実際のモック銀河シミュレーション（VELA+SUNRISE）にこのモデルを適用し、現実的データにおける性能をテストしている。
• フレームワークには誤差制約が含まれており、確率の標準偏差が10％を超える場合には結果を「制約なし」とフラグ付けている。

実験結果

リサーチクエスチョン

• RQ1 サンプルの固有の合体率が、人間分類者を用いた場合の測定された合体率、誤差、有意性に影響を与えるか？
• RQ2 個々の人間分類者のバイアスを統計モデルで定量化・補正でき、合体率推定を向上させられるか？
• RQ3 実際のモック銀河画像（人間分類付き）に適用した確率的モデルが、真の合体率をどの程度正確に回復できるか？
• RQ4 分類者のバイアスが、高赤方偏移銀河研究における合体率推定をどの程度歪めるか？
• RQ5 この手法が、人間ラベル付き銀河形態に依存する機械学習モデルのトレーニングデータの質を向上させられるか？

主な発見

• 14名のシミュレートされた人間反応を用いたテストにおいて、モデルは真のラベルから1％以内に「合体」または「孤立」を正しく分類している。
• 14名の実際の人間反応を含む実モック銀河シミュレーションにおいて、モデルは合体前の合体率を真の値の10％以内に回復している。
• 個々の分類者の信頼性を組み込むことで、合体率推定の不確実性が低減され、より頑健な統計的推論が可能になった。
• 確率の不確実性が10％を超える場合には、モデルが「制約なし」として分類を特定し、信頼性が向上している。
• 従来よりも少ない人間分類者数で、個々の銀河の合体確率推定が正確に可能になった。
• 未補正の人のバイアスが、特に高赤方偏移サンプルにおいて、合体率測定を顕著に歪める可能性があることが明らかになった。