[论文解读] AstroCLIP: A Cross-Modal Foundation Model for Galaxies

Liam Parker, François Lanusse+13 more|arXiv (Cornell University)|Oct 4, 2023

CCD and CMOS Imaging Sensors参考文献 30被引用 4

一句话总结

AstroCLIP 提出了一种跨模态对比学习框架，将星系图像与光学光谱对齐至共享嵌入空间，实现对红移和恒星质量等物理属性的零样本预测。该方法仅使用光谱嵌入即在红移预测任务上达到最先进性能（R² = 0.99），证明了自监督预训练可生成高度信息丰富、通用的天文学基础模型，且无需微调。

ABSTRACT

We present AstroCLIP, a single, versatile model that can embed both galaxy images and spectra into a shared, physically meaningful latent space. These embeddings can then be used - without any model fine-tuning - for a variety of downstream tasks including (1) accurate in-modality and cross-modality semantic similarity search, (2) photometric redshift estimation, (3) galaxy property estimation from both images and spectra, and (4) morphology classification. Our approach to implementing AstroCLIP consists of two parts. First, we embed galaxy images and spectra separately by pretraining separate transformer-based image and spectrum encoders in self-supervised settings. We then align the encoders using a contrastive loss. We apply our method to spectra from the Dark Energy Spectroscopic Instrument and images from its corresponding Legacy Imaging Survey. Overall, we find remarkable performance on all downstream tasks, even relative to supervised baselines. For example, for a task like photometric redshift prediction, we find similar performance to a specifically-trained ResNet18, and for additional tasks like physical property estimation (stellar mass, age, metallicity, and sSFR), we beat this supervised baseline by 19\% in terms of $R^2$. We also compare our results to a state-of-the-art self-supervised single-modal model for galaxy images, and find that our approach outperforms this benchmark by roughly a factor of two on photometric redshift estimation and physical property prediction in terms of $R^2$, while remaining roughly in-line in terms of morphology classification. Ultimately, our approach represents the first cross-modal self-supervised model for galaxies, and the first self-supervised transformer-based architectures for galaxy images and spectra.

研究动机与目标

• 开发一种基于自监督对比学习的基座模型，以连接多波段图像与星系的光学光谱。
• 通过将互补的观测模态对齐至共享嵌入空间，克服单模态自监督学习的局限性。
• 仅使用学习到的嵌入实现对红移和恒星质量等物理属性的零样本与少样本预测。
• 提出一种新型基于 Transformer 的光谱编码器架构与预训练策略，推动光谱表征学习超越传统 1D CNN。

提出的方法

• 模型采用对比学习目标，将同一星系的图像与光谱嵌入在共享潜在空间中对齐，通过最小化正样本对之间的对比损失实现。
• 采用视觉 Transformer 处理由多波段星系图像，同时使用专门设计的基于 Transformer 的编码器处理光学光谱，两者通过对比预训练端到端联合训练。
• 训练过程利用 DESI 巡天提供的大规模弱标签数据，将图像与光谱的增强视图作为正样本对。
• 模型通过对比损失函数进行训练，使同一星系的嵌入更接近，而不同星系的嵌入更远离。
• 预训练完成后，冻结的嵌入直接用于下游任务（如跨模态检索与回归），无需进一步微调。
• 采用 k-近邻（k-NN）回归器实现对红移与恒星质量的零样本预测，性能通过 R² 分数评估。

实验结果

研究问题

• RQ1 星系图像与光学光谱之间的跨模态对比学习能否在共享空间中生成对齐良好且信息丰富的嵌入？
• RQ2 这些嵌入能否在无需微调的情况下实现对红移与恒星质量等物理属性的高精度零样本预测？
• RQ3 当图像中不包含强红移信号时，光谱编码器是否仍能学习到红移信息？
• RQ4 基于 Transformer 的架构能否在星系光谱表征学习中超越传统 1D CNN？
• RQ5 即使跨模态对齐是主要目标，对比预训练是否仍能改善各模态内部嵌入的内在结构？

主要发现

• 使用 k-NN 回归器进行红移预测时，光谱嵌入的 R² 达到 0.99，优于所有其他测试方法。
• 图像嵌入通过 k-NN 进行红移预测的 R² 为 0.71，显著优于 Stein 等人（2021b）提出的自监督基线方法（R² = 0.39）。
• 该模型表明，跨模态对比学习在两种模态中均催生出显著的结构，即使图像缺乏强红移信号，光谱嵌入仍能实现近乎完美的红移检索。
• k-NN 零样本方法优于少样本 MLP 微调基线，表明 k-NN 方法受益于更紧密（尽管略有偏差）的预测结果。
• 光谱编码器在无显式监督的情况下，仍能将嵌入空间围绕红shift组织，表明红移是学习表征中的基本组织原则。
• 所提出的基于 Transformer 的光谱编码器实现了高质量的预训练，为 Transformer 在星系光谱建模中的广泛应用铺平了道路。