[논문 리뷰] Merger or Not: Accounting for Human Biases in Identifying Galactic Merger Signatures

Erini Lambrides, Duncan J. Watts외 10명|arXiv (Cornell University)|2021. 06. 29.

Galaxies: Formation, Evolution, Phenomena참고 문헌 71인용 수 10

한 줄 요약

이 논문은 은하 병합 식별에서 인간 분류자의 편향을 정량화하고 보정하는 베이지안 확률 모델을 제안하며, 병합 분율을 추정하는 데 있어 정확도를 크게 향상시킨다. 개인 분류자의 신뢰도를 모델링하고 이를 통계적 프레임워크에 통합함으로써, 시뮬레이션 데이터에 대해 99%의 정확도를 달성하고 실제 모의 데이터에서는 진짜 병합 분율을 10% 이내로 복원한다. 이는 더 견고한 병합 연구와 기계학습을 위한 보다 나은 훈련 데이터를 가능하게 한다.

ABSTRACT

Significant galaxy mergers throughout cosmic time play a fundamental role in theories of galaxy evolution. The widespread usage of human classifiers to visually assess whether galaxies are in merging systems remains a fundamental component of many morphology studies. Studies that employ human classifiers usually construct a control sample, and rely on the assumption that the bias introduced by using humans will be evenly applied to all samples. In this work, we test this assumption and develop methods to correct for it. Using the standard binomial statistical methods employed in many morphology studies, we find that the merger fraction, error, and the significance of the difference between two samples are dependent on the intrinsic merger fraction of any given sample. We propose a method of quantifying merger biases of individual human classifiers and incorporate these biases into a full probabilistic model to determine the merger fraction and the probability of an individual galaxy being in a merger. Using 14 simulated human responses and accuracies, we are able to correctly label a galaxy as ''merger'' or ''isolated'' to within 1\% of the truth. Using 14 real human responses on a set of realistic mock galaxy simulation snapshots our model is able to recover the pre-coalesced merger fraction to within 10\%. Our method can not only increase the accuracy of studies probing the merger state of galaxies at cosmic noon, but also can be used to construct more accurate training sets in machine learning studies that use human classified data-sets.

연구 동기 및 목표

• 형태학적 연구에서 인간 분류자의 편향이 샘플 전반에 균일하게 분포된다는 가정을 해결하기 위해.
• 은하 병합 분류에서 개인 인간 분류자의 편향을 정량화하는 방법을 개발하기 위해.
• 이러한 편향을 보정하기 위한 확률 모델을 만들기 위해.
• 고적색도(0.5 < z < 2)에서 인간 분류를 활용한 병합 연구의 신뢰성을 향상시키기 위해.
• 인간 레이블 기반의 기계학습 모델에 사용되는 훈련 데이터의 질을 향상시키기 위해.

제안 방법

• 저자들은 각 인간 분류자의 편향을 베타 분포를 사용하여 표현함으로써, 병합을 올바르게 식별할 확률을 모델링한다.
• 14명의 독립된 인간 분류자가 각 은하에 대해 수행한 분류를 통합하기 위해 베이지안 계층 모델을 적용하여 진짜 병합 확률을 추정한다.
• 모델은 식 (18)을 사용하여 분류자 신뢰도와 불확실성을 통합하여 은하가 병합 중임의 사후 확률을 계산한다.
• 모델은 알려진 진짜 값이 있는 시뮬레이션 데이터셋을 사용하여 분류 정확도를 평가하고, 편향 校정을 가능하게 한다.
• 모델은 진짜 데이터에 가까운 조건을 반영하기 위해 노이즈가 첨가된 실제 모의 은하 시뮬레이션(VELA+SUNRISE)에 적용하여 성능을 테스트한다.
• 프레임워크는 오차 제약 조건을 포함하며, 확률의 표준편차가 10%를 초과할 경우 결과를 비제약 상태로 표시한다.

실험 결과

연구 질문

• RQ1 샘플의 내재적 병합 분율이 인간 분류자 사용 시 측정된 병합 분율, 오차, 유의성에 영향을 미치는가?
• RQ2 개별 인간 분류자의 편향을 통계 모델에서 정량화하고 보정할 수 있는가? 이를 통해 병합 분율 추정이 향상되는가?
• RQ3 실제 모의 은하 이미지에 인간 분류를 적용했을 때, 확률 모델이 진짜 병합 분율을 얼마나 정확하게 복원할 수 있는가?
• RQ4 분류자 편향이 고적색도 은하 연구에서 병합 분율 추정을 얼마나 심각하게 왜곡하는가?
• RQ5 이 방법이 인간 레이블 기반의 기계학습 모델에 사용되는 훈련 데이터의 품질을 향상시킬 수 있는가?

주요 결과

• 14개의 시뮬레이션된 인간 응답을 테스트한 결과, 모델은 진짜 레이블과 1% 이내로 '병합' 또는 '고립'으로 올바르게 분류한다.
• 14명의 인간 응답이 포함된 실제 모의 은하 시뮬레이션에서, 모델은 공융합 이전의 병합 분율을 진짜 값의 10% 이내로 복원한다.
• 개별 분류자의 신뢰도를 통합함으로써 병합 분율 추정의 불확실성을 줄여 더 견고한 통계적 추론을 가능하게 한다.
• 확률 불확실성이 10%를 초과할 경우 비제약 상태로 표시함으로써, 분류의 신뢰성을 향상시킨다.
• 이전에 요구되었던 인간 분류자 수보다 적은 수로도 개별 은하의 병합 확률 추정이 정확하게 가능해진다.
• 연구는 보정되지 않은 인간 편향이 특히 고적색도 샘플에서 병합 분율 측정을 심각하게 왜곡할 수 있음을 입증한다.