[论文解读] Can Pretext-Based Self-Supervised Learning Be Boosted by Downstream Data? A Theoretical Analysis

Jiaye Teng, Weiran Huang+1 more|arXiv (Cornell University)|Mar 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 28被引用 4

一句话总结

本文研究了下游数据是否可以通过使输入数据满足条件独立性（$f(\mathbf{x}) \perp \mathbf{z} \mid \mathbf{y}$）来改进基于掩码的自监督学习，该条件可最小化下游样本复杂度。研究证明，使用不足的下游数据训练数据处理器 $f$ 会损害性能，从而建立了模型无关和模型相关的下游样本数量下限，验证了在数据稀缺条件下标准自监督学习的最优性。

ABSTRACT

Pretext-based self-supervised learning learns the semantic representation via a handcrafted pretext task over unlabeled data and then uses the learned representation for downstream tasks, which effectively reduces the sample complexity of downstream tasks under Conditional Independence (CI) condition. However, the downstream sample complexity gets much worse if the CI condition does not hold. One interesting question is whether we can make the CI condition hold by using downstream data to refine the unlabeled data to boost self-supervised learning. At first glance, one might think that seeing downstream data in advance would always boost the downstream performance. However, we show that it is not intuitively true and point out that in some cases, it hurts the final performance instead. In particular, we prove both model-free and model-dependent lower bounds of the number of downstream samples used for data refinement. Moreover, we conduct various experiments on both synthetic and real-world datasets to verify our theoretical results.

研究动机与目标

• 研究是否可以通过在给定下游标签的条件下，强制优化输入与掩码标签之间的条件独立性，来利用下游数据改进基于掩码的自监督学习。
• 识别在何种条件下使用下游数据进行数据优化会失败或损害下游性能，挑战‘数据越多越好’的直觉。
• 推导出成功优化表征并实现更优样本复杂度所需的下游样本数量的理论下限。
• 通过在合成数据集和真实世界数据集（包括 CIFAR-10）上的实验，验证理论发现。

提出的方法

• 提出一种可学习的数据处理器 $f$，将输入 $\mathbf{x}$ 映射以增强条件独立性 $f(\mathbf{x}) \perp \mathbf{z} \mid \mathbf{y}$，其中 $\mathbf{z}$ 为掩码标签，$\mathbf{y}$ 为下游标签。
• 引入一种新型损失函数，用于训练 $f$，使所得表征既满足条件独立性，又具备对 $\mathbf{y}$ 的预测能力。
• 推导出避免表示学习期间性能下降所需的下游样本数量的模型无关下限。
• 建立模型相关的下限，表明模型容量越大，所需下游数据越多，从而揭示更复杂模型需按比例增加下游数据以实现有效优化。
• 通过在合成数据和真实世界数据集（如 CIFAR-10）上的实验，验证理论结论，变量包括 $\lambda$、模型大小和下游样本数量。

实验结果

研究问题

• RQ1 通过可学习函数 $f$ 利用下游数据对无标签数据进行优化，能否提升基于掩码的自监督学习的样本复杂度？
• RQ2 在何种条件下，使用下游数据进行数据优化会失败或降低自监督表征学习的性能？
• RQ3 成功优化表征并实现性能提升所需的最少下游样本数量是多少？
• RQ4 模型容量如何影响实现有效数据优化所需的下游样本数量？

主要发现

• 使用不足的下游数据训练数据处理器 $f$ 会严格导致下游性能下降，与‘数据越多越好’的直观预期相悖。
• 推导出模型无关的下游样本数量下限，表明有限数据无法提升表征学习，甚至可能造成损害。
• 建立了模型相关的下限，表明更高的模型容量需要按比例更多的下游样本才能实现性能增益。
• 在 CIFAR-10 上的实验表明，增加损失函数中的 $\lambda$ 会损害性能，验证了定理 1。
• 当用于训练处理器的下游样本数量较少时，性能下降，证实了表 2 中的理论下限。
• 在缺乏足够下游数据的情况下，将模型容量加倍会导致性能显著恶化，验证了定理 4。