[論文レビュー] AstroCLIP: A Cross-Modal Foundation Model for Galaxies

Liam Parker, François Lanusse+13 more|arXiv (Cornell University)|Oct 4, 2023

CCD and CMOS Imaging Sensors参考文献 30被引用数 4

ひとこと要約

AstroCLIPは、銀河の画像と光学スペクトルを共有埋め込み空間に統合するクロスモーダル対照学習フレームワークを導入し、赤方偏移や星の質量といった物理的性質のゼロショット予測を可能にする。本手法は、スペクトル埋め込みのみを用いても赤方偏移予測で最先端の性能（R² = 0.99）を達成しており、自己教師あり事前学習が微調整なしに高情報量で汎用的な天文学的基盤モデルを生成できることを示している。

ABSTRACT

We present AstroCLIP, a single, versatile model that can embed both galaxy images and spectra into a shared, physically meaningful latent space. These embeddings can then be used - without any model fine-tuning - for a variety of downstream tasks including (1) accurate in-modality and cross-modality semantic similarity search, (2) photometric redshift estimation, (3) galaxy property estimation from both images and spectra, and (4) morphology classification. Our approach to implementing AstroCLIP consists of two parts. First, we embed galaxy images and spectra separately by pretraining separate transformer-based image and spectrum encoders in self-supervised settings. We then align the encoders using a contrastive loss. We apply our method to spectra from the Dark Energy Spectroscopic Instrument and images from its corresponding Legacy Imaging Survey. Overall, we find remarkable performance on all downstream tasks, even relative to supervised baselines. For example, for a task like photometric redshift prediction, we find similar performance to a specifically-trained ResNet18, and for additional tasks like physical property estimation (stellar mass, age, metallicity, and sSFR), we beat this supervised baseline by 19\% in terms of $R^2$. We also compare our results to a state-of-the-art self-supervised single-modal model for galaxy images, and find that our approach outperforms this benchmark by roughly a factor of two on photometric redshift estimation and physical property prediction in terms of $R^2$, while remaining roughly in-line in terms of morphology classification. Ultimately, our approach represents the first cross-modal self-supervised model for galaxies, and the first self-supervised transformer-based architectures for galaxy images and spectra.

研究の動機と目的

• 自己教師あり対照学習を用いて、多バンド画像と銀河の光学スぺクトルを統合する基盤モデルの開発。
• 単一モダリティの自己教師あり学習の限界を克服し、補完的な観測モダリティを共有埋め込み空間に統合すること。
• 学習済み埋め込みのみを用いて、赤方偏移や星の質量といった物理的性質のゼロショットおよびフェイントショット予測を可能にすること。
• 銀河スぺクトルのための新規トランスフォーマー基盤アーキテクチャと事前学習戦略の導入により、従来の1次元CNNを凌駕すること。

提案手法

• モデルは、同じ銀河の画像とスペクトル埋め込みを共有潜在空間内で対照的に整列させる対照学習目的関数を用い、同一の正例ペア間の対照損失を最小化する。
• 多バンド銀河画像の処理にはビジョントランスフォーマーを、光学スぺクトルの処理には専用のトランスフォーマー基盤エンコーダーを採用し、両者を対照的事前学習により一括で訓練する。
• トレーニングプロセスは、DES暗黒エネルギー計画（DESI）調査から得られる大規模かつ弱ラベル付きデータを活用し、画像とスぺクトルの拡張版を正例ペアとして用いる。
• モデルは、同じ銀河の埋め込みを近づける一方で、異なる銀河の埋め込みを遠ざけるように、対照損失関数を用いて訓練される。
• 事前学習後、固定された埋め込みは微調整なしに、クロスモーダル検索や回帰といった下流タスクに直接利用される。
• 赤方偏移および星の質量のゼロショット予測にはk近傍法（k-NN）回帰器が用いられ、R²スコアを用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 銀河の画像と光学スぺクトル間のクロスモーダル対照学習は、共有空間内に整合性が高く情報豊富な埋め込みを生成できるか？
• RQ2 これらの埋め込みは、微調整なしに赤方偏移や星の質量といった物理的性質を正確にゼロショットで予測可能か？
• RQ3 画像に顕著な赤方偏移信号が存在しない場合でも、スペクトルエンコーダーは赤方偏移情報を学習できるか？
• RQ4 トランスフォーマー基盤アーキテクチャは、従来の1次元CNNを上回る銀河スぺクトル表現学習を可能にするか？
• RQ5 対照的事前学習は、クロスモーダル統合を主な目的としているにもかかわらず、各モダリティ内での埋め込みの内在的構造を向上させるか？

主な発見

• k-NN回帰器を用いたスペクトル埋め込みは、赤方偏移予測でR² = 0.99を達成し、比較した全手法を上回った。
• 画像埋め込みはk-NNを用いて赤方偏移予測でR² = 0.71を達成し、Steinら（2021b）の自己教師ありベースライン（R² = 0.39）を著しく上回った。
• 本モデルは、クロスモーダル対照学習が両モダリティに顕著な構造をもたらすことを示しており、画像に強い赤方偏移信号が存在しない状況下でも、スペクトル埋め込みはほぼ完璧な赤方偏移検索性能を示した。
• k-NNゼロショット手法は、フェイントショットMLP微調整ベースラインを上回った。これは、k-NN法がわずかにバイアスがあるが、より緊密な予測を可能にするためである。
• スペクトルエンコーダーは、明示的な教師信号がなくても、赤方偏移を基盤とする埋め込み空間の組織化を学習しており、赤方偏移が学習表現における根本的な整理原理であることが示された。
• 提案されたトランスフォーマー基盤スペクトルエンコーダーは、高品質な事前学習を可能にし、銀河スぺクトルモデリングにおけるトランスフォーマーの広範な採用に道を拓いた。