[論文レビュー] Monte Carlo conformal prediction for quantifying uncertainty in radio galaxy classification under ambiguous ground truth

Alex W. Walls, James P. Barry+2 more|arXiv (Cornell University)|Mar 20, 2026

Galaxies: Formation, Evolution, Phenomena被引用数 0

ひとこと要約

この論文は、モンテカルロ適合予測（MCCP）を、無線銀河のFR分類における不確実性を定量化する方法として評価し、MCCPの不確実性をベイジアン深層学習の予測エントロピーと比較。弱い相関とソフトラベル要件に起因する実用的制約を示す。

ABSTRACT

Dramatically increasing data volumes are forcing astronomers to adopt automated methods for the identification and classification of astronomical objects. Although deep-learning models are often well-suited to this task, obtaining a measure of uncertainty on their predictions is challenging. Here we consider the suitability of Monte Carlo conformal prediction (MCCP) set size and confidence as measures of model uncertainty for the astronomical classification of radio galaxies. We demonstrate this approach using model predictions from a pre-trained radio galaxy foundation model, fine-tuned on a smaller set of labelled radio galaxies. We calibrate the MCCP by obtaining annotator-derived soft label distributions, i.e. probability distributions over classes instead of single class assignments, for each of these labelled radio galaxies and compare the resulting set sizes and confidence scores to predictive entropy measures for each galaxy obtained using a supervised Bayesian deep-learning model trained using Hamiltonian Monte Carlo (HMC). The comparison reveals only a weak correlation between the measures.

研究の動機と目的

• 無線銀河のFR分類の自動化を促進するため、急速に増大するデータ量に対応する。
• 大規模天文学データセットに適合する不確実性定量化手法を評価する。
• 天文学における本質的に曖昧な真値ラベルの不確実性フレームワークとしてMCCPを検討する。
• MCCP由来の不確実性を、ベイジアン深層学習モデルの予測エントロピーと比較する。

提案手法

• 適合予測（分割/適合）と最大p-近似のMCCPを、ソフトラベルの較正を用いて概説する。
• MiraBest のソフトラベル分布を、Zooniverse 市民科学注釈キャンペーンで構築する。
• 無線銀河分類器を訓練する（事前訓練済みの基盤モデルをラベル付きデータでファインチューニング）。
• MCCPをmax-p集約で適用し、1-α カバレッジを回復し予測集合を生成する。
• MCCPの予測集合サイズと適合信頼度を不確実性指標として計算し、ベイズDLエントロピー基準（HMC）と比較する。

実験結果

リサーチクエスチョン

• RQ1 MCCP は、 inherently ambiguous な真値を持つ無線銀河のFR分類に対して有効な不確実性定量化を提供するのか。
• RQ2 MCCP の不確実性（予測集合サイズと適合信頼度）は、ベイズDLの予測エントロピーとどのように相関するのか。
• RQ3 天文学データのソフトラベル分布を得る際に生じる実務的課題は何で、MCCP の適用性にどう影響するのか。
• RQ4 この文脈で、MCCP はアレータリアック（ aleatoric ）対エピステミック不確実性をより効果的に捉えるのか。

主な発見

• MCCPと予測エントロピーはわずかな相関しか示さず、全体的不確実性の異なる側面を定量化することを示唆している。
• MCCPの較正に必要なソフトラベル分布の実務的要件は、専門的な天文学分類における大きな制約である。
• MCCP に基づく不確実性は、モデルのエピステミック不確実性よりラベルの曖昧さ（アレアトロ）を反映する傾向があり、Kクラスのみを用いると粒度が限られる。
• MCCP の max-p 集約を使用すると元の1-α カバレッジを回復できるが、追加データ分割なしではクラスごとに過剰-または過小カバーとなる可能性がある。
• ソフトラベルなしには、天文学的画像分類へ一般的なスケーラビリティや適用性が高くないことを本研究は確認している。