[论文解读] data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language

Alexei Baevski, Wei-Ning Hsu+4 more|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用 240

一句话总结

data2vec 通过从遮罩输入预测具上下文化潜在表示来统一跨语音、视觉与语言的自监督学习，采用教师-学生 Transformer 设置，在各基准数据集上达到具有竞争力或最先进的结果。

ABSTRACT

While the general idea of self-supervised learning is identical across modalities, the actual algorithms and objectives differ widely because they were developed with a single modality in mind. To get us closer to general self-supervised learning, we present data2vec, a framework that uses the same learning method for either speech, NLP or computer vision. The core idea is to predict latent representations of the full input data based on a masked view of the input in a self-distillation setup using a standard Transformer architecture. Instead of predicting modality-specific targets such as words, visual tokens or units of human speech which are local in nature, data2vec predicts contextualized latent representations that contain information from the entire input. Experiments on the major benchmarks of speech recognition, image classification, and natural language understanding demonstrate a new state of the art or competitive performance to predominant approaches.

研究动机与目标

• 使多模态（语音、视觉、语言）能够应用的单一自监督学习框架成为可能。
• 开发以掩蔽为基础的预测任务，目标是上下文潜在表示，而非固定的局部目标。
• 证明从多个教师层平均潜在表示的预测可以提升跨模态性能。
• 在视觉（ImageNet）、语音（ASR）和 NLP（GLUE）等主要基准上实现最先进或具有竞争力的结果。
• 提供关于目标层级、上下文和特定模态设计选择对性能影响的洞见。

提出的方法

• 在教师和学生模式下使用标准 Transformer 架构；教师是学生的 EMA。
• 使用教师将全输入表示编码为目标；使用学生对遮罩输入进行编码以预测这些目标。
• 通过对遮罩时间步从顶部 K 个教师块的归一化表示进行求平均来构造目标。
• 使用 Smooth L1 损失对遮罩预测的上下文化目标进行回归训练。
• 采用面向各模态的输入编码器和掩蔽策略（视觉补丁、语音片段、单词/子词掩蔽）以适应每种模态。
• 在 ImageNet、Librispeech 和 GLUE 风格基准上评估两种模型尺寸（Base 和 Large）。

实验结果

研究问题

• RQ1 单一的自监督学习目标是否能够在不依赖模态特定目标的情况下对视觉、语音和语言都有效？
• RQ2 上下文化潜在目标与多层目标求平均是否提升各模态的下游性能？
• RQ3 上下文大小和目标特征选择如何影响学习及向下游任务的迁移？
• RQ4 data2vec 方法在每种模态的标准基准上是否达到最先进或具有竞争力的结果？

主要发现

• data2vec 在视觉、语音和语言的主要基准上实现了具有竞争力或最先进的结果。
• 预测上下文化的潜在表示并对多个教师层进行求平均通常比仅预测顶层表示在所有模态下都能带来更好的下游准确性。
• 上下文化目标需要完整的输入上下文以实现最佳性能；限制教师的上下文会降低结果。
• 将 FFN 输出（而非自注意力输出）用作目标在语音预训练中通常表现更好。
• 统一框架在 NLP 中无需依赖离散目标标记（如词汇、视觉标记）也能实现强大性能，并在视觉和语音中仍保持鲁棒结果。