[论文解读] Exploring Target Representations for Masked Autoencoders

Xingbin Liu, Jinghao Zhou+3 more|arXiv (Cornell University)|Sep 8, 2022

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

本文提出 dBOT，一种多阶段掩码知识蒸馏框架，使用随机初始化模型作为教师，消除了在掩码自编码器中对精心设计目标表征的依赖。通过迭代地使用学生权重更新教师，dBOT 在 ImageNet-1K、COCO 和 ADE20K 上实现了最先进性能，使用 ViT-B/16、ViT-L/16 和 ViT-H/14，优于包括 MAE 在内的先前自监督方法。

ABSTRACT

Masked autoencoders have become popular training paradigms for self-supervised visual representation learning. These models randomly mask a portion of the input and reconstruct the masked portion according to the target representations. In this paper, we first show that a careful choice of the target representation is unnecessary for learning good representations, since different targets tend to derive similarly behaved models. Driven by this observation, we propose a multi-stage masked distillation pipeline and use a randomly initialized model as the teacher, enabling us to effectively train high-capacity models without any efforts to carefully design target representations. Interestingly, we further explore using teachers of larger capacity, obtaining distilled students with remarkable transferring ability. On different tasks of classification, transfer learning, object detection, and semantic segmentation, the proposed method to perform masked knowledge distillation with bootstrapped teachers (dBOT) outperforms previous self-supervised methods by nontrivial margins. We hope our findings, as well as the proposed method, could motivate people to rethink the roles of target representations in pre-training masked autoencoders.The code and pre-trained models are publicly available at https://github.com/liuxingbin/dbot.

研究动机与目标

• 探究目标表征的选择是否显著影响掩码自编码器中视觉表征学习的性能。
• 确定预训练教师网络是否对掩码自编码中的有效知识蒸馏是必要的。
• 开发一种简单而有效的预训练方法，避免对预训练或精心设计目标表征的需求。
• 在包括分类、检测和分割在内的多样化下游视觉任务中评估所提方法的性能。

提出的方法

• 提出一种多阶段掩码蒸馏流程，其中学生网络通过教师网络学习重建被掩码的图像块。
• 使用随机初始化模型作为初始教师，在每个训练阶段结束时用学生权重更新教师。
• 采用一种自举训练策略，即在每个阶段后使用最新教师权重重新初始化学生。
• 在训练中应用对称和非对称编码器-解码器架构，使用标准 L2 损失进行重建。
• 将框架扩展至使用更大的预训练模型（如 ViT-L、ViT-H）作为教师，以蒸馏更小的学生网络。
• 进行消融研究，比较来自多样化教师（DeiT、DINO、DALL-E、MAE）和随机初始化的蒸馏效果。

实验结果

研究问题

• RQ1 目标表征的选择（即教师网络）是否显著影响掩码自编码器在自监督学习中的性能？
• RQ2 随机初始化模型能否作为掩码知识蒸馏中视觉表征学习的有效教师？
• RQ3 使用自举教师的多阶段蒸馏是否在不同视觉任务中带来一致的性能提升？
• RQ4 与标准训练相比，从更大教师模型中蒸馏在下游性能和效率方面表现如何？
• RQ5 使用更大或数据丰富的教师模型（如 CLIP）带来的性能增益是否在分类、检测和分割任务中保持一致？

主要发现

• 经过多阶段蒸馏后，从不同预训练教师（DeiT、DINO、DALL-E、MAE）蒸馏的学生网络表现出几乎相同的性能，表明教师选择的影响极小。
• 使用随机初始化模型作为教师可达到与预训练教师相当的性能，证明了精心设计目标表征并非必要。
• dBOT 在 ImageNet-1K 上使用 ViT-B/16 达到 84.5% 的 top-1 准确率，使用 ViT-L/16 达到 86.6%，使用 ViT-H/14 达到 88.0%，超越了 MAE 和其他自监督最先进方法。
• 在 COCO 目标检测任务上，dBOT 使用 ViT-B/16 达到 52.7 AP box，使用 ViT-L/16 达到 56.0 AP box，优于先前方法。
• 在 ADE20K 语义分割任务上，dBOT 使用 ViT-B/16 达到 49.5 mIoU，使用 ViT-L/16 达到 54.5 mIoU，创下新的最先进结果。
• 从更大教师模型（如 ViT-H）中蒸馏在密集预测任务中带来显著增益：ViT-B 网络获得 +0.8 AP box 和 +1.3 mIoU，ViT-L 网络获得 +0.1 AP box 和 +0.7 mIoU。