[論文レビュー] Towards Galaxy Foundation Models with Hybrid Contrastive Learning

Mike Walmsley, Inigo Val Slijepcevic+2 more|arXiv (Cornell University)|Jun 23, 2022

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

本論文は、Galaxy Zooプロジェクトの9650万枚の銀河形態ラベル（GZ-Evo v0.1）を用いた自己教師付き表現学習と教師あり事前学習を組み合わせるハイブリッド対照的学習フレームワークを提案する。BYOLを変更し、対照的損失と回帰損失を同時に最適化することで、たった750ラベルでの微調整でも+6%の下流タスク精度向上を達成し、低データ環境下で標準的な事前学習や対照的学習単体よりも顕著に優れた性能を示した。

ABSTRACT

New astronomical tasks are often related to earlier tasks for which labels have already been collected. We adapt the contrastive framework BYOL to leverage those labels as a pretraining task while also enforcing augmentation invariance. For large-scale pretraining, we introduce GZ-Evo v0.1, a set of 96.5M volunteer responses for 552k galaxy images plus a further 1.34M comparable unlabelled galaxies. Most of the 206 GZ-Evo answers are unknown for any given galaxy, and so our pretraining task uses a Dirichlet loss that naturally handles unknown answers. GZ-Evo pretraining, with or without hybrid learning, improves on direct training even with plentiful downstream labels (+4% accuracy with 44k labels). Our hybrid pretraining/contrastive method further improves downstream accuracy vs. pretraining or contrastive learning, especially in the low-label transfer regime (+6% accuracy with 750 labels).

研究の動機と目的

• 複数のGalaxy Zooキャンペーンから得られた既存の多様な市民科学者によるラベルを活用して、銀河形態のための基盤モデルを開発すること。
• ハイブリッド自己教師付きおよび教師あり事前学習を用いて、下流の銀河形態タスクにおけるゼロショットおよびフェイントショットの転移性能を向上させること。
• 非交換可能なボランティアの回答をモデル化することで、Galaxy Zooキャンペーン間の分布シフトを解消すること。
• 将来の未知の銀河形態タスクに適用可能なスケーラブルで汎用的な表現学習フレームワークを構築すること。
• 対照的不変性と教師あり信号を組み合わせることで、特にラベルが限られる状況下で優れた性能が得られることを示すこと。

提案手法

• 206種の異なる銀河形態タスクの回帰損失を含めるように、BYOLの対照的学習フレームワークを拡張する。
• 9650万件のボランティア回答における欠損または未知の回答を処理するため、ディリクレ損失を用い、スパarsityなラベルに対しても頑健な学習を可能にする。
• 5台の望遠鏡と4つのGalaxy Zooキャンペーンから得た、55万枚のラベルありおよび134万枚のラベルなし銀河からなるGZ-Evo v0.1データセットを用いて学習する。
• 対照的ビューに対してデータ拡張を適用しつつ、回帰ヘッドにおける同一画像の教師あり信号を保持する。
• 対照的および教師ありの目的の両方で特徴を抽出する共有バックボーンネットワークを用い、タスク間で表現を共有する。
• 限られたラベル付きデータを用いて下流タスクで微調整し、低ショット環境下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の銀河形態ラベルを用いた対照的自己教師付き学習と教師あり事前学習を組み合わせることで、新しい関連タスクにおける下流性能が向上するか？
• RQ2 低ラベル環境下で、ハイブリッド手法は純粋な対照的学習や純粋な教師あり事前学習と比べてどのように性能を発揮するか？
• RQ3 ボランティアの回答の高スパarsityと非交換性を効果的に処理できるか、ディリクレ損失はその目的を果たすか？
• RQ4 複数キャンペーンにまたがる広範な銀河形態ラベルデータセットを用いた事前学習は、タスク固有の事前学習よりもより汎用的な表現を生成するか？
• RQ5 ハイブリッド手法は、銀河形態分類におけるフェイントショット転移性能をどの程度向上させるか？

主な発見

• GZ-Evo事前学習は、ハイブリッド学習を用いなくても、4万4千枚のラベル付き例を用いることで、直接学習する場合に比べて+4%の精度向上を達成した。
• ハイブリッド事前学習／対照的学習手法は、たった750ラベルでの微調整でも、標準的な事前学習や対照的学習単体よりも+6%の精度向上を達成した。
• 本モデルは、Pretrainingキャンペーンに含まれなかった「Galaxy Zoo Rings」におけるリング検出タスクなど、新たなタスクへの汎用性を示した。
• ディリクレ損失は、1枚の銀河に対して206の回答のほとんどが未知であるような高スパarsityなボランティア回答に対しても、効果的に対処できた。
• 本手法は低ラベル環境下でベースライン手法を上回り、学習済み表現の強力な転送可能性を示した。
• 本フレームワークは、将来の未知のタスクに対応できるように微調整可能な銀河形態のための基盤モデルの構築を可能にした。