[论文解读] Astroformer: More Data Might not be all you need for Classification

Rishit Dagli|arXiv (Cornell University)|Apr 3, 2023

Machine Learning and Data Classification被引用 7

一句话总结

Astroformer 提出了一种混合的 Transformer-卷积架构，采用创新的堆叠设计、相对自注意力机制，并结合优化的数据增强与正则化方法，在低数据量场景下实现了最先进性能。其在 Galaxy10 DECals 数据集上仅使用 17,736 张标注图像即达到 94.86% 的 top-1 准确率，相比之前方法提升 4.62%，并在 CIFAR-100 和 Tiny ImageNet 上创下新的 SOTA 记录。

ABSTRACT

Recent advancements in areas such as natural language processing and computer vision rely on intricate and massive models that have been trained using vast amounts of unlabelled or partly labeled data and training or deploying these state-of-the-art methods to resource constraint environments has been a challenge. Galaxy morphologies are crucial to understanding the processes by which galaxies form and evolve. Efficient methods to classify galaxy morphologies are required to extract physical information from modern-day astronomy surveys. In this paper, we introduce Astroformer, a method to learn from less amount of data. We propose using a hybrid transformer-convolutional architecture drawing much inspiration from the success of CoAtNet and MaxViT. Concretely, we use the transformer-convolutional hybrid with a new stack design for the network, a different way of creating a relative self-attention layer, and pair it with a careful selection of data augmentation and regularization techniques. Our approach sets a new state-of-the-art on predicting galaxy morphologies from images on the Galaxy10 DECals dataset, a science objective, which consists of 17736 labeled images achieving 94.86% top-$1$ accuracy, beating the current state-of-the-art for this task by 4.62%. Furthermore, this approach also sets a new state-of-the-art on CIFAR-100 and Tiny ImageNet. We also find that models and training methods used for larger datasets would often not work very well in the low-data regime.

研究动机与目标

• 解决在大规模预训练不可行的低数据量场景下训练高性能模型的挑战。
• 改进天文学中星系形态分类这一关键任务，以更好地理解星系的形成与演化。
• 开发一种在标注数据有限时仍具有良好泛化能力的方法，避免依赖合成数据或迁移学习。
• 在 Galaxy10 DECals 数据集上建立星系形态分类的新 SOTA。

提出的方法

• 提出一种受 CoAtNet 和 MaxViT 启发的混合 Transformer-卷积架构，通过重新设计堆叠结构以提升特征学习能力。
• 引入一种改进的相对自注意力机制，以增强长距离依赖建模能力，同时保持高效性。
• 采用基于区域丢弃的定制化数据增强策略，以提升模型鲁棒性与泛化能力。
• 应用细致的正则化技术，包括权重衰减和权重衰减和学习率调度，以防止在低数据设置下的过拟合。
• 在监督设置下从零开始训练模型，不使用迁移学习，专注于样本高效的训练。
• 结合 RandAugment 与其他增强层，以提升数据效率与模型泛化能力。

实验结果

研究问题

• RQ1 在无预训练的情况下，混合的 Transformer-卷积架构是否能在低数据图像分类中实现 SOTA 性能？
• RQ2 架构设计选择（如堆叠结构与注意力机制）在低数据场景下的性能影响如何？
• RQ3 在标注数据稀缺时，数据增强与正则化技术在多大程度上能提升泛化能力？
• RQ4 在类似 Galaxy10 DECals 的小规模数据集上，从零开始训练的模型是否能超越迁移学习模型？
• RQ5 视觉 Transformer 在低数据场景下性能是否会显著下降？这种问题能否通过架构与训练策略的改进得到缓解？

主要发现

• Astroformer 在 Galaxy10 DECals 数据集上达到 94.86% 的 top-1 准确率，相比之前 SOTA 提升 4.62%。
• 在 CIFAR-100 上，Astroformer 最大变体达到 93.36% 的 top-1 准确率，创下新 SOTA。
• 在 Tiny ImageNet 上，Astroformer 达到 89.38% 的 top-1 准确率，为该基准建立新 SOTA。
• 模型在低数据场景下泛化能力出色，训练损失与评估准确率之间的差距较小，表明其具备强大的泛化能力。
• 在合成数据上训练或使用标准 ViT 训练协议的模型在低数据设置下表现较差，凸显了专用设计的必要性。
• 消融研究显示，无核球的侧向星系与扰动星系是错误率最高的两类，表明这两类更难分类。