[논문 리뷰] Monte Carlo conformal prediction for quantifying uncertainty in radio galaxy classification under ambiguous ground truth

Alex W. Walls, James P. Barry외 2명|arXiv (Cornell University)|2026. 03. 20.

Galaxies: Formation, Evolution, Phenomena인용 수 0

한 줄 요약

이 논문은 FR 분류에서 불확실성을 정량하기 위한 Monte Carlo conformal prediction (MCCP)을 평가하고, MCCP 불확실성을 베이지안 딥러닝의 예측 엔트로피와 비교했으며, 상관관계가 약하고 soft-label 요구로 인한 실용적 제한이 있음을 발견했다.

ABSTRACT

Dramatically increasing data volumes are forcing astronomers to adopt automated methods for the identification and classification of astronomical objects. Although deep-learning models are often well-suited to this task, obtaining a measure of uncertainty on their predictions is challenging. Here we consider the suitability of Monte Carlo conformal prediction (MCCP) set size and confidence as measures of model uncertainty for the astronomical classification of radio galaxies. We demonstrate this approach using model predictions from a pre-trained radio galaxy foundation model, fine-tuned on a smaller set of labelled radio galaxies. We calibrate the MCCP by obtaining annotator-derived soft label distributions, i.e. probability distributions over classes instead of single class assignments, for each of these labelled radio galaxies and compare the resulting set sizes and confidence scores to predictive entropy measures for each galaxy obtained using a supervised Bayesian deep-learning model trained using Hamiltonian Monte Carlo (HMC). The comparison reveals only a weak correlation between the measures.

연구 동기 및 목표

• 데이터 볼륨이 빠르게 증가함에 따라 무선 은하의 FR 분류 자동화를 촉진한다.
• 천문 대규모 데이터 세트와 호환되는 불확실성 정량화 방법을 평가한다.
• 천문학에서 본질적으로 애매한 ground-truth 레이블에 대한 불확실성 프레임워크로서 MCCP를 조사한다.
• MCCP로부터의 불확실성을 베이지안 DL의 예측 엔트로피(HMC)와 비교한다.

제안 방법

• 소프트 레이블 보정이 포함된 컨포멀 예측(split/conformal) 및 몬테 카를로 컨포멀 예측(MCCP)을 개요한다.
• 지오노버스(Zooiniverse) 시민과학 주석 캠페인을 통해 MiraBest의 소프트 레이블 분포를 구성한다.
• 사전 학습된 파운데이션 모델을 라벨링된 데이터로 미세 조정하여 라디오 은하 분류기를 학습한다.
• 소프트레이블을 사용한 MCCP 최대-p 집계로 1-α 커버리지를 회복하고 예측 집합을 산출한다.
• MCCP 예측 집합 크기와 컨포멀 신뢰도를 불확실성 척도로 계산하고 이를 베이지안 DL 엔트로피 기준선(HMC)과 비교한다.

실험 결과

연구 질문

• RQ1 MCCP가 FR 분류에 대해 inherently ambiguous ground truth를 가진 FR 분류에 대해 유효한 불확실성 정량화를 제공하는가?
• RQ2 MCCP 불확실성(예측 집합 크기와 컨포멀 신뢰도)이 베이지안 DL의 예측 엔트로피와 어떤 상관관계를 보이는가?
• RQ3 천문 데이터에 대한 소프트 레이블 분포를 얻는 데 있어 어떤 실용적 도전이 있으며, MCCP 적용성에 어떤 영향을 미치는가?
• RQ4 이 맥락에서 MCCP가 알레타로픽(aleatoric) 불확실성 대 에피스템틱(epistemic) 불확실성을 더 잘 포착하는가?

주요 결과

• MCCP와 예측 엔트로피는 약한 상관관계만 보이며, 총 불확실성의 서로 다른 측면을 정량화한다는 것을 시사한다.
• MCCP 보정에 필요한 소프트 레이블 분포의 실용적 요구는 특수한 천문 분류에서 주요 한계다.
• MCCP 기반의 불확실성은 주로 레이블의 애매성(aleatoric)에 더 민감하게 반영되는 경향이 있으며, K개 클래스일 때는 모델의 에피스테믹 불확실성보다 세분성이 제한된다.
• MCCP의 max-p 집계를 사용하면 원래의 1-α 커버리지를 회복하지만, 추가 데이터 분할 없이 클래스별로 과소/과대 커버링할 수 있다.
• 연구는 soft-label 없이 천문 이미지 분류에 일반적으로 확장 가능하거나 즉시 적용 가능하지 않음을 확인한다.