[논문 리뷰] AstroCLIP: A Cross-Modal Foundation Model for Galaxies

Liam Parker, François Lanusse외 13명|arXiv (Cornell University)|2023. 10. 04.

CCD and CMOS Imaging Sensors참고 문헌 30인용 수 4

한 줄 요약

AstroCLIP는 은하 이미지와 적외선 스펙트럼을 공통 임bedding 공간에 정렬하는 크로스모달 대비 학습 프레임워크를 소개한다. 이는 적색편이 및 별질량과 같은 물리적 성질의 제로샷 예측을 가능하게 한다. 이 방법은 오직 스펙트럼 임베딩만을 사용하여 적색편이 예측에서 최신 기술 수준 성능(R² = 0.99)을 달성하며, 자기지도 학습 사전학습이 피지컬 성질을 잘 반영하고 일반적인 천문학 기초 모델을 얻을 수 있음을 보여준다. 특히 피지컬 성질 예측에 대해 미세조정 없이도 성능을 내는 데 성공하였다.

ABSTRACT

We present AstroCLIP, a single, versatile model that can embed both galaxy images and spectra into a shared, physically meaningful latent space. These embeddings can then be used - without any model fine-tuning - for a variety of downstream tasks including (1) accurate in-modality and cross-modality semantic similarity search, (2) photometric redshift estimation, (3) galaxy property estimation from both images and spectra, and (4) morphology classification. Our approach to implementing AstroCLIP consists of two parts. First, we embed galaxy images and spectra separately by pretraining separate transformer-based image and spectrum encoders in self-supervised settings. We then align the encoders using a contrastive loss. We apply our method to spectra from the Dark Energy Spectroscopic Instrument and images from its corresponding Legacy Imaging Survey. Overall, we find remarkable performance on all downstream tasks, even relative to supervised baselines. For example, for a task like photometric redshift prediction, we find similar performance to a specifically-trained ResNet18, and for additional tasks like physical property estimation (stellar mass, age, metallicity, and sSFR), we beat this supervised baseline by 19\% in terms of $R^2$. We also compare our results to a state-of-the-art self-supervised single-modal model for galaxy images, and find that our approach outperforms this benchmark by roughly a factor of two on photometric redshift estimation and physical property prediction in terms of $R^2$, while remaining roughly in-line in terms of morphology classification. Ultimately, our approach represents the first cross-modal self-supervised model for galaxies, and the first self-supervised transformer-based architectures for galaxy images and spectra.

연구 동기 및 목표

• 자기지도 대비 학습을 통해 다중 대역 이미지와 적외선 스펙트럼을 연결하는 기초 모델을 개발하는 것.
• 단일 모odal 자기지도 학습의 한계를 극복하기 위해 상호보완적인 관측 모달을 공통 임베딩 공간에 정렬하는 것.
• 학습된 임베딩만을 사용하여 적색편이 및 별질량과 같은 물리적 성질에 대해 제로샷 및 소수샷 예측을 가능하게 하는 것.
• 은하 스펙트럼을 위한 새로운 트랜스포머 기반 아키텍처와 사전학습 전략을 도입하여 기존의 1D CNN을 뛰어넘는 것.

제안 방법

• 모델은 동일한 은하의 이미지 및 스펙트럼 임베딩을 공통 잠재 공간에 정렬하기 위해 대비 학습 목표를 사용하며, 양성 쌍 간의 대비 손실을 최소화한다.
• 다중 대역 은하 이미지 처리를 위해 비전 트랜스포머를 사용하고, 적외선 스펙트럼을 위해 전용 트랜스포머 기반 인코더를 사용하며, 양자 모두를 대비 사전학습을 통해 종단 간 엔드로 훈련한다.
• 훈련 과정은 DESI 설문에서 확보한 대규모이고 약한 레이블이 부여된 데이터를 활용하며, 이미지 및 스펙트럼의 증강된 시각적 표현을 양성 쌍으로 사용한다.
• 모델은 동일한 은하의 임베딩을 가까이 모으고, 다른 은하의 임베딩를 멀리 떼는 대비 손실 함수를 사용하여 훈련된다.
• 사전학습 후, 동결된 임베딩는 추가적인 미세조정 없이도 후행 작업, 예를 들어 크로스모달 검색 및 회귀에 직접 사용된다.
• 적색편이 및 별질량의 제로샷 예측을 위해 k-최근접 이웃(k-NN) 회귀기를 사용하며, 성능 평가에는 R² 점수를 사용한다.

실험 결과

연구 질문

• RQ1 은하 이미지와 적외선 스펙트럼 간의 크로스모달 대비 학습이 공통 공간에 잘 정렬되고 정보가 풍부한 임베딩을 생성할 수 있는가?
• RQ2 이러한 임베딩는 미세조정 없이도 적색편이 및 별질량과 같은 물리적 성질에 대해 정확한 제로샷 예측을 가능하게 하는가?
• RQ3 이미지에 강한 적색편이 신호가 포함되어 있지 않은 경우에도 스펙트럼 인코더가 적색편이 정보를 학습할 수 있는가?
• RQ4 트랜스포머 기반 아키텍처가 은하 스펙트럼 표현 학습에서 기존의 1D CNN을 능가할 수 있는가?
• RQ5 크로스모달 정렬이 주요 목표이지만, 대비 사전학습이 각 모달 내부의 임베딩 구조를 향상시키는가?

주요 결과

• k-NN 회귀기를 사용한 스펙트럼 임베딩는 적색편이 예측에서 R² = 0.99를 달성하여 테스트된 모든 다른 방법보다 뛰어나다.
• 이미지 임베딩는 k-NN를 통해 적색편이 예측에서 R² = 0.71를 기록하며, Stein 등(2021b)의 자기지도 기반 베이스라인(R² = 0.39)보다 뚜렷하게 뛰어나다.
• 모델은 크로스모달 대비 학습이 두 모달 모두에 잠재적인 구조를 만들어내며, 이미지에 강한 적색편이 신호가 없음에도 불구하고 스펙트럼 임베딩이 거의 완벽한 적색편이 검색 성능을 보임을 보여준다.
• k-NN 제로샷 접근법은 소수샷 MLP 미세조정 베이스라인을 능가하며, 이는 k-NN 방법이 더 조밀하고 약간 편향된 예측을 유도함으로써 유의미한 이점을 얻기 때문임을 시사한다.
• 스펙트럼 인코더는 명시적 지도 없이도 적색편이를 중심으로 임베딩 공간을 구성함을 보여주며, 이는 적색편이가 학습된 표현에서 근본적인 조직 원리임을 시사한다.
• 제안된 트랜스포머 기반 스펙트럼 인코더는 고품질의 사전학습을 가능하게 하며, 은하 스펙트럼 모델링에서 트랜스포머의 광범위한 채택을 위한 길을 열어준다.