[論文レビュー] Astroformer: More Data Might not be all you need for Classification

Rishit Dagli|arXiv (Cornell University)|Apr 3, 2023

Machine Learning and Data Classification被引用数 7

ひとこと要約

Astroformer は、新しいスタック構造、相対自己注意機構、および最適化されたデータ拡張と正則化を備えたハイブリッドトランスフォーマー畳み込み型アーキテクチャを提案し、低データ環境での最先端性能を達成した。17,736枚のラベル付き画像での Galaxy10 DECals データセットにおいて、トップ1正解率94.86％を達成し、先行手法を4.62％上回り、CIFAR-100およびTiny ImageNetでも新たなSOTAを樹立した。

ABSTRACT

Recent advancements in areas such as natural language processing and computer vision rely on intricate and massive models that have been trained using vast amounts of unlabelled or partly labeled data and training or deploying these state-of-the-art methods to resource constraint environments has been a challenge. Galaxy morphologies are crucial to understanding the processes by which galaxies form and evolve. Efficient methods to classify galaxy morphologies are required to extract physical information from modern-day astronomy surveys. In this paper, we introduce Astroformer, a method to learn from less amount of data. We propose using a hybrid transformer-convolutional architecture drawing much inspiration from the success of CoAtNet and MaxViT. Concretely, we use the transformer-convolutional hybrid with a new stack design for the network, a different way of creating a relative self-attention layer, and pair it with a careful selection of data augmentation and regularization techniques. Our approach sets a new state-of-the-art on predicting galaxy morphologies from images on the Galaxy10 DECals dataset, a science objective, which consists of 17736 labeled images achieving 94.86% top-$1$ accuracy, beating the current state-of-the-art for this task by 4.62%. Furthermore, this approach also sets a new state-of-the-art on CIFAR-100 and Tiny ImageNet. We also find that models and training methods used for larger datasets would often not work very well in the low-data regime.

研究の動機と目的

• 大規模事前学習が非現実的であるような低データ環境における高精度モデルの学習という課題に対処すること。
• 銀河形成と進化を理解する上で重要な、天文学における銀河形態分類の改善。
• 合成データや転移学習に依存せずに、限られたラベル付きデータでも一般化性能の高い手法の開発。
• Galaxy10 DECals データセットにおける銀河形態分類の新たなSOTAの確立。

提案手法

• CoAtNet や MaxViT をインspirationとして得たハイブリッドトランスフォーマー畳み込み型アーキテクチャを提案し、特徴学習を向上させるために再設計されたスタック構造を採用。
• 長距離依存性のモデリングを向上させつつ効率性を維持するように変更された相対自己注意機構を導入。
• 局所的ドロップアウトに基づくカスタムデータ拡張戦略を採用し、ロバストネスと一般化性能を向上。
• 重み減衰と学習率スケジューリングを含む慎重な正則化技術を適用し、低データ環境における過学習を防止。
• 転移学習を一切使用せずに、教師あり学習からモデルを訓練し、データ効率の高い学習に焦点を当てる。
• RandAugment とその他の拡張レイヤーの組み合わせを用いて、データ効率とモデル一般化性能を向上。

実験結果

リサーチクエスチョン

• RQ1 事前学習なしで、ハイブリッドトランスフォーマー畳み込み型アーキテクチャが低データ画像分類でSOTA性能を達成できるか？
• RQ2 スタック構造や注意機構といったアーキテクチャ設計の選択が、低データ環境下での性能にどのように影響するか？
• RQ3 ラベル付きデータが限られる状況で、データ拡張と正則化技術が一般化性能をどの程度向上させるか？
• RQ4 Galaxy10 DECals のような小さなデータセットから事前学習なしで訓練したモデルが、転移学習済みモデルを上回れるか？
• RQ5 視覚トランスフォーマーの性能が低データ環境で著しく低下するか、そしてアーキテクチャ的・訓練的修正によってこれを緩和できるか？

主な発見

• Astroformer は、Galaxy10 DECals データセットでトップ1正解率94.86％を達成し、前回のSOTAを4.62％上回った。
• 最大の Astroformer バリエーションでは、CIFAR-100 でトップ1正解率93.36％を達成し、新たなSOTAを樹立した。
• Tiny ImageNet では、トップ1正解率89.38％を達成し、このベンチマークでも新たなSOTAを確立した。
• モデルは低データ環境でも良好に一般化しており、訓練損失と評価正解率の差が小さいことから、強力な一般化能力を示した。
• 合成データで学習したモデルや、標準的なViT訓練プロトコルを用いたモデルは、低データ環境では性能が著しく劣った。これにより、特別な設計の必要性が浮き彫りになった。
• アブレーションスタディの結果、バルジのない側面銀河や壊れた銀河が誤分類の主な要因であることが判明し、これらのクラスが分類においてより困難であることが示唆された。