[论文解读] Masked Modeling for Self-supervised Representation Learning on Vision and Beyond

Siyuan Li, Luyuan Zhang+9 more|arXiv (Cornell University)|Dec 31, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本综述对自监督表示学习中跨视觉、自然语言处理（NLP）、语音及其他模态的掩码建模（MIM）进行了全面回顾。它系统化地整理了掩码策略、重建目标和网络架构等技术，突出显示MIM在NLP中的主导地位及其在视觉领域的日益增长的影响，并指出了可解释性、多模态融合以及高维数据扩展方面的关键挑战与未来方向。

ABSTRACT

As the deep learning revolution marches on, self-supervised learning has garnered increasing attention in recent years thanks to its remarkable representation learning ability and the low dependence on labeled data. Among these varied self-supervised techniques, masked modeling has emerged as a distinctive approach that involves predicting parts of the original data that are proportionally masked during training. This paradigm enables deep models to learn robust representations and has demonstrated exceptional performance in the context of computer vision, natural language processing, and other modalities. In this survey, we present a comprehensive review of the masked modeling framework and its methodology. We elaborate on the details of techniques within masked modeling, including diverse masking strategies, recovering targets, network architectures, and more. Then, we systematically investigate its wide-ranging applications across domains. Furthermore, we also explore the commonalities and differences between masked modeling methods in different fields. Toward the end of this paper, we conclude by discussing the limitations of current techniques and point out several potential avenues for advancing masked modeling research. A paper list project with this survey is available at \url{https://github.com/Lupin1998/Awesome-MIM}.

研究动机与目标

• 为自监督表示学习中跨多样化模态的掩码建模（MIM）提供统一且全面的综述。
• 系统化比较MIM的关键组件，包括掩码策略、重建目标、网络架构和标记化方法。
• 分析MIM在视觉、NLP、多模态学习及其他领域的演变过程与当前状态，突出其从对比学习范式向生成式预训练范式的转变。
• 识别可解释性、理论基础和计算效率方面的开放挑战，并提出未来研究方向。
• 通过整理全面的论文列表与项目仓库（https://github.com/Lupin1998/Awesome-MIM），为研究人员提供支持。

提出的方法

• 将MIM分为生成式与判别式范式，重点关注在NLP中占主导地位、并在视觉领域日益重要的生成式MIM。
• 回顾随机、块状或学习型掩码策略，及其对各模态表示质量的影响。
• 分析重建目标，包括像素级、块级和标记级重建，特别关注MAE与BERT风格的目标。
• 考察网络架构组件，如ViT与Transformer主干网络，以及基于向量量化（VQ）模型在高效数据压缩中的集成。
• 将MIM与对比学习（CL）进行比较，突出其在理论基础、任务清晰度与计算成本方面的差异。
• 探索新兴的多模态MIM框架，包括对齐至中心模态或采用扩散模型对齐的方法，并讨论在3D/4D数据扩展中的挑战。

实验结果

研究问题

• RQ1 在视觉、自然语言处理（NLP）、语音和图等模态中，掩码建模在掩码方式、标记化与重建策略方面有何差异？
• RQ2 哪些关键技术组件与设计选择促成了MIM在自监督预训练中的成功？
• RQ3 尽管早期对比学习占主导地位，为何MIM在NLP中成为主流，并在计算机视觉中迅速崛起？
• RQ4 与对比学习相比，MIM在解释性方面面临的主要理论与实际挑战是什么？
• RQ5 在多模态学习与高维数据方面，MIM最具前景的未来研究方向是什么？

主要发现

• 自BERT（2018）以来，掩码建模已成为NLP领域的主导范式，而自ViT（2021）以来，尤其在MAE的推动下，其在计算机视觉领域也已成为主流方法。
• MIM的成功归因于其通过掩码重建学习鲁棒且可迁移表示的能力，在某些视觉基准上甚至优于对比学习。
• 尽管实证性能强劲，MIM仍缺乏统一的理论解释，现有解释多局限于特定任务或经验观察。
• 将基于VQ的模型与MIM结合，正成为视频与3D点云学习中的关键趋势，有助于实现更高效的数据压缩与重建。
• 多模态MIM正朝着新范式发展，如对齐至中心模态，或采用扩散模型方法，尽管技术挑战依然存在。
• 当前的MIM方法面临高昂的计算成本与有限的可解释性，尤其与对比学习中清晰的InfoNCE目标及统一架构相比更为明显。