[논문 리뷰] Towards Galaxy Foundation Models with Hybrid Contrastive Learning

Mike Walmsley, Inigo Val Slijepcevic외 2명|arXiv (Cornell University)|2022. 06. 23.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

이 논문은 Galaxy Zoo 프로젝트에서 확보한 9650만 개의 은하 형상 레이블(GZ-Evo v0.1)을 기반으로 자기지도 학습 표현 학습과 지도 학습 전훈을 융합한 하이브리드 대비 학습 프레임워크를 제안한다. BYOL을 수정하여 대비 손실과 회귀 손실을 동시에 최적화함으로써, 단지 750개의 레이블만으로도 기존의 전훈 또는 대비 학습만을 사용하는 것보다 저자료 환경에서 +6%의 하류 정확도 향상을 달성한다.

ABSTRACT

New astronomical tasks are often related to earlier tasks for which labels have already been collected. We adapt the contrastive framework BYOL to leverage those labels as a pretraining task while also enforcing augmentation invariance. For large-scale pretraining, we introduce GZ-Evo v0.1, a set of 96.5M volunteer responses for 552k galaxy images plus a further 1.34M comparable unlabelled galaxies. Most of the 206 GZ-Evo answers are unknown for any given galaxy, and so our pretraining task uses a Dirichlet loss that naturally handles unknown answers. GZ-Evo pretraining, with or without hybrid learning, improves on direct training even with plentiful downstream labels (+4% accuracy with 44k labels). Our hybrid pretraining/contrastive method further improves downstream accuracy vs. pretraining or contrastive learning, especially in the low-label transfer regime (+6% accuracy with 750 labels).

연구 동기 및 목표

• 다양한 Galaxy Zoo 캠페인에서 확보한 기존 시민 과학자 레이블을 활용해 은하 형상에 대한 기초 모델을 개발한다.
• 하이브리드 자기지도 학습 및 지도 학습 전훈을 통해 하류 은하 형상 작업에서 제로샷 및 소샷 전이 성능을 향상시킨다.
• 자신들 간에 교환 가능하지 않은 자원 봉사자 응답을 모델링하여 Galaxy Zoo 캠페인 간의 분포 이탈 문제를 해결한다.
• 향후 알려지지 않은 은하 형상 작업에 적용 가능한 확장 가능한 일반 목적의 표현 학습 프레임워크를 구축한다.
• 대비 불변성과 지도 신호를 융합함으로써 레이블 부족 환경에서도 뛰어난 성능을 달성할 수 있음을 입증한다.

제안 방법

• 206개의 다양한 은하 형상 작업을 위한 지도 학습 회귀 손실을 포함하도록 BYOL 대비 학습 프레임워크를 수정한다.
• 9650만 개의 자원 봉사자 응답에서 누락되거나 알려지지 않은 답변을 처리하기 위해 딜레트 레이블 손실을 사용하여 희박한 레이블에 대한 강건한 훈련을 가능하게 한다.
• 다섯 대의 망원경과 네 개의 Galaxy Zoo 캠페인에서 유래한 55만 개의 레이블이 부여된 은하와 134만 개의 레이블이 없는 은하로 구성된 GZ-Evo v0.1 데이터셋을 사용한다.
• 대비 시각을 위한 데이터 증강을 적용하면서도 동일한 이미지에 대한 지도 학습 신호를 회귀 헤드에서 유지한다.
• 대비 및 지도 학습 목표 모두에 대해 공유된 백본 네트워크를 사용하여 작업 간 표현을 공유한다.
• 제한된 레이블 데이터를 사용해 하류 작업에 하이브리드 모델을 미세조정하고, 저샷 환경에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기존의 은하 형상 레이블을 활용한 대비 자기지도 학습과 지도 학습 전훈을 융합함으로써, 새로운 관련 작업에서 하류 성능 향상을 이룰 수 있는가?
• RQ2 저레이블 환경에서 하이브리드 접근 방식이 순수 대비 학습 또는 순수 지도 학습 전훈보다 어떻게 비교되는가?
• RQ3 디릴레트 손실이 서로 다른 Galaxy Zoo 캠페인 간에 희박하고 비교 불가능한 자원 봉사자 응답을 효과적으로 처리할 수 있는가?
• RQ4 다양한 캠페인의 광범위한 은하 형상 레이블 데이터셋에 대한 전훈이 작업별 전훈보다 더 일반화된 표현을 생성하는가?
• RQ5 하이브리드 방법이 은하 형상 분류의 소샷 전이 성능을 어느 정도 향상시키는가?

주요 결과

• GZ-Evo 전훈은 하이브리드 학습 없이도, 44만 개의 레이블이 있는 경우 직접 학습 대비 +4%의 정확도 향상을 기록한다.
• 하이브리드 전훈/대비 학습 방법은 단지 750개의 레이블로 미세조정할 경우, 기존의 전훈 또는 순수 대비 학습만을 사용하는 것보다 +6%의 정확도 향상을 달성한다.
• 모델은 Pretraining 캠페인에 포함되지 않은 새로운 작업, 예를 들어 Galaxy Zoo Rings에서의 고리 탐지 작업 등에도 강력한 일반화 성능을 보였다.
• 디릴레트 손실은 은하당 206개의 답변 중 대부분이 알려지지 않은 희박한 자원 봉사자 응답을 효과적으로 처리한다.
• 희박한 레이블 환경에서 기준 모델 대비 성능이 뛰어나, 학습된 표현의 뛰어난 전이 가능성(transferability)을 입증한다.
• 이 프레임워크는 향후 알려지지 않은 작업에 대해 미세조정 가능한 은하 형상 기초 모델을 구축하는 데 기여한다.