[論文レビュー] Estimating Galactic Distances From Images Using Self-supervised Representation Learning

Abul Hayat, Peter de B. Harrington+3 more|arXiv (Cornell University)|Jan 12, 2021

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 5

ひとこと要約

本論文は、ラベルなしSDSSデータを用いて、自己教師あり対照的学習フレームワークを提案し、銀河画像から光度赤方偏移を推定する。完全教師あり手法と比較して2–4倍少ないラベル付きデータで最先端の性能を達成した。120万枚のラベルなし銀河で事前学習し、50万枚のラベル付き画像で微調整することで、MAD誤差を0.00825まで低減し、先行する教師ありモデルを上回った。

ABSTRACT

We use a contrastive self-supervised learning framework to estimate distances to galaxies from their photometric images. We incorporate data augmentations from computer vision as well as an application-specific augmentation accounting for galactic dust. We find that the resulting visual representations of galaxy images are semantically useful and allow for fast similarity searches, and can be successfully fine-tuned for the task of redshift estimation. We show that (1) pretraining on a large corpus of unlabeled data followed by fine-tuning on some labels can attain the accuracy of a fully-supervised model which requires 2-4x more labeled data, and (2) that by fine-tuning our self-supervised representations using all available data labels in the Main Galaxy Sample of the Sloan Digital Sky Survey (SDSS), we outperform the state-of-the-art supervised learning method.

研究の動機と目的

• 高価な分光的ラベルに依存せずに、光度画像からの銀河距離推定のための自己教師あり表現学習手法を開発すること。
• 大規模なラベルなし銀河画像で事前学習することで、下流の光度赤方偏移推定の精度が向上することを実証すること。
• 自己教師ありモデルが、ラベル付きデータの25–50%のみで完全教師ありモデルと同等またはそれを上回る性能を達成できることを示すこと。
• SDSSメイン銀河サンプルにおける光度赤方偏移推定のための新しい画像ベースの機械学習ベースラインを確立すること。
• 処理済み銀河画像、ラベル、および訓練済みモデルを公開し、天文学分野の機械学習研究への参入障壁を低減すること。

提案手法

• 本手法は、SimCLRスタイルのデータ拡張（ランダム回転やジッタリングなど）を用いた対照的自己教師あり学習フレームワークであり、5つの光度バンド（ugriz）の銀河画像に適用される。
• 銀河画像は、各オブジェクトを中心とする107×107ピクセルのパッチから64×64ピクセルにクロップされ、元のSDSSピクセルスケールを保持する。
• ResNet-50エンコーダーは、SDSS DR9の119万枚のラベルなし銀河で事前学習され、対照的損失を用いて意味的に意味のある視覚的表現を学習する。
• 事前学習後、分光的赤方偏移（z ≤ 0.4）を持つ502,977枚のラベル付き銀河でエンコーダーを微調整し、畳み込み層には10倍小さい初期学習率が使用された。
• モデルは減退補正済みの等級を用い、微調整時にデータ拡張を適用することで、頑健性と一般化性能を向上させた。
• 性能評価には標準指標（平均絶対偏差（MAD）と外れ値率（η））が用いられ、予測はソフトマックス出力から導出された。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし銀河画像からの自己教師あり表現学習が、光度赤方偏移推定に有用な視覚的特徴を生成できるか？
• RQ2 自己教師あり事前学習戦略により、ラベル付き分光的データの必要量を減らしつつ、精度を維持または向上させられるか？
• RQ3 自己教師ありモデルをSDSSメイン銀河サンプル全体で微調整することで、既存の最先端の教師ありモデルを上回る性能を発揮できるか？
• RQ4 銀河のダストおよび画像構造に特化したデータ拡張が、銀河画像解析における表現品質にどのように影響するか？
• RQ5 自己教師ありモデルが、銀河画像データセットにおける効果的な類似性検索および異常検出を可能にするか？

主な発見

• 微調整に100%のラベル付きデータを使用した場合、自己教師ありモデルは光度赤方偏移のMADが0.00825、外れ値率ηが0.209を達成し、以前の最先端を上回った。
• ラベル付きデータの25%のみで、自己教師ありモデルは100%のデータで学習した完全教師ありモデルと同等の性能を達成した。これは4倍のデータ効率向上を示している。
• モデルの予測バイアス⟨Δz⟩は10−4未満であり、系統的誤差は無視できるほど小さい。
• 自己教師あり表現は、類似性検索に効果的であり、埋め込み空間における上位10件の類似画像は、しばしば類似した形態的特徴や観測アーチファクトを特定していた。
• この手法は、銀河画像内の意味的構造（形態的パターンや衛星軌道、宇宙線ヒットなどの異常）を効果的に捉えていた。
• 著者らは、再現可能性を支援し、SDSSデータへの広範なアクセスを促進するため、処理済み銀河画像、赤方偏移ラベル、および訓練済みモデルを公開した。