[논문 리뷰] Estimating Galactic Distances From Images Using Self-supervised Representation Learning

Abul Hayat, Peter de B. Harrington외 3명|arXiv (Cornell University)|2021. 01. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 5

한 줄 요약

이 논문은 레이블이 없는 SDSS 데이터를 사용하여 은하 이미지에서 광학적 적색편이를 추정하기 위한 자기지도 학습 대비 학습 프레임워크를 제안한다. 완전히 지도 학습 방법보다 2–4배 적은 레이블이 필요한 상태에서 최신 기술 수준의 성능을 달성한다. 120만 개의 레이블이 없는 은하에서 사전 훈련하고 50만 개의 레이블이 있는 이미지에서 미세조정함으로써 평균 절대 오차(MAD)를 0.00825로 줄였다. 이는 이전의 지도 학습 모델을 능가하는 성능이다.

ABSTRACT

We use a contrastive self-supervised learning framework to estimate distances to galaxies from their photometric images. We incorporate data augmentations from computer vision as well as an application-specific augmentation accounting for galactic dust. We find that the resulting visual representations of galaxy images are semantically useful and allow for fast similarity searches, and can be successfully fine-tuned for the task of redshift estimation. We show that (1) pretraining on a large corpus of unlabeled data followed by fine-tuning on some labels can attain the accuracy of a fully-supervised model which requires 2-4x more labeled data, and (2) that by fine-tuning our self-supervised representations using all available data labels in the Main Galaxy Sample of the Sloan Digital Sky Survey (SDSS), we outperform the state-of-the-art supervised learning method.

연구 동기 및 목표

• 비용이 많이 드는 분광학적 레이블에 의존하지 않고도 광학적 이미지에서 은하 거리를 추정하기 위한 자기지도 표현 학습 방법을 개발하는 것.
• 대규모 레이블이 없는 은하 이미지에서 사전 훈련을 수행하면 후속 광학적 적색편이 추정 정확도가 향상됨을 보여주는 것.
• 자기지도 학습 모델이 레이블이 있는 데이터의 25–50%만으로도 완전히 지도 학습 모델과 동일하거나 이를 초월하는 성능을 낼 수 있음을 보여주는 것.
• SDSS 메인 은하 샘플에 대해 광학적 적색편이 추정을 위한 새로운 이미지 기반 기계 학습 기준을 설정하는 것.
• 처리된 은하 이미지, 레이블, 훈련된 모델을 공개하여 천문학 기계 학습 연구의 진입 장벽을 낮추는 것.

제안 방법

• 이 방법은 SimCLR 스타일의 데이터 증강 기법(예: 무작위 회전 및 저항)을 사용하는 대비 자기지도 학습 프레임워크를 사용하며, 이는 다섯 개인 광학 대역(ugriz)의 은하 이미지에 적용된다.
• 은하 이미지는 각 객체 중심의 107×107 패치에서 64×64 픽셀로 자르며, 원래의 SDSS 픽셀 해상도를 유지한다.
• ResNet-50 인코더는 SDSS DR9의 119만 개의 레이블이 없는 은하에서 사전 훈련되어 대비 손실을 통해 의미 있는 시각적 표현을 학습한다.
• 사전 훈련 후, 502,977개의 레이블이 있는 은하(자기적 적색편이 z ≤ 0.4)에서 컨volutional 레이어의 초기 학습률을 10배 작게 설정하여 인코더를 미세조정한다.
• 모델은 보정된 등급(magnitudes)을 사용하고, 미세조정 중에 데이터 증강을 적용하여 강건성과 일반화 능력을 향상시킨다.
• 성능 평가는 표준 지표인 평균 절대 편차(MAD)와 이상치 비율(η)을 사용하며, 예측은 소프트맥스 출력에서 유도된다.

실험 결과

연구 질문

• RQ1 레이블이 없는 은하 이미지에서 자기지도 표현 학습이 광학적 적색편이 추정에 유용한 시각적 특징을 생성할 수 있는가?
• RQ2 자기지도 사전 훈련 전략이 정확도를 유지하거나 향상시키면서도 레이블이 있는 분광학적 데이터의 필요성을 줄일 수 있는가?
• RQ3 자기지도 모델을 전체 SDSS 메인 은하 샘플에서 미세조정하면 기존 최신 기술 수준의 지도 학습 모델을 능가하는가?
• RQ4 은하 먼지 및 이미지 구조에 특화된 데이터 증강 기법이 은하 이미지 분석에서 표현 품질에 어떤 영향을 미치는가?
• RQ5 자기지도 모델이 은하 이미지 데이터셋에서 효과적인 유사도 검색 및 이상치 탐지 기능을 수행할 수 있는가?

주요 결과

• 자기지도 모델은 레이블이 있는 데이터의 100%에서 미세조정한 결과, 광학적 적색편이의 평균 절대 편차(MAD)가 0.00825이고 이상치 비율 η = 0.209를 기록하여 이전 최신 기술 수준을 뛰어넘었다.
• 레이블이 있는 데이터의 25%만으로도 자기지도 모델이 100%의 데이터로 훈련된 완전히 지도 학습 모델과 동일한 성능을 달성하여 데이터 효율성에서 4배 향상을 보였다.
• 모델의 예측 편향 ⟨Δz⟩는 10−4 이하로 극히 미미하여 체계적 오차가 거의 없다는 것을 시사한다.
• 자기지도 표현은 효과적인 유사도 검색을 가능하게 하며, 임베딩 공간에서 상위 10개의 가장 가까운 이웃은 종종 유사한 형상 또는 관측 오류를 나타내는 특징을 보인다.
• 이 방법은 은하 이미지의 의미적 구조를 성공적으로 포착하며, 형상 패턴과 위성 궤도, 우주선 충격 등의 이상 현상까지도 탐지할 수 있다.
• 저자들은 처리된 은하 이미지, 적색편이 레이블, 훈련된 모델을 공개하여 재현 가능성과 SDSS 데이터에 대한 광범위한 접근성을 높였다.