[论文解读] MetaMask: Revisiting Dimensional Confounder for Self-Supervised Learning

Jiangmeng Li, Wenwen Qiang+5 more|arXiv (Cornell University)|Sep 16, 2022

Domain Adaptation and Few-Shot Learning被引用 12

一句话总结

MetaMask 提出了一种基于元学习的维度掩码方法，以解决自监督对比学习中的维度冗余和混淆因子问题。通过利用元学习学习一种任务感知掩码，抑制来自混淆维度的梯度传播，该方法在 CIFAR-10 和 ImageNet 上实现了最先进性能，具有更紧的泛化界和对平凡解的更强鲁棒性。

ABSTRACT

As a successful approach to self-supervised learning, contrastive learning aims to learn invariant information shared among distortions of the input sample. While contrastive learning has yielded continuous advancements in sampling strategy and architecture design, it still remains two persistent defects: the interference of task-irrelevant information and sample inefficiency, which are related to the recurring existence of trivial constant solutions. From the perspective of dimensional analysis, we find out that the dimensional redundancy and dimensional confounder are the intrinsic issues behind the phenomena, and provide experimental evidence to support our viewpoint. We further propose a simple yet effective approach MetaMask, short for the dimensional Mask learned by Meta-learning, to learn representations against dimensional redundancy and confounder. MetaMask adopts the redundancy-reduction technique to tackle the dimensional redundancy issue and innovatively introduces a dimensional mask to reduce the gradient effects of specific dimensions containing the confounder, which is trained by employing a meta-learning paradigm with the objective of improving the performance of masked representations on a typical self-supervised task. We provide solid theoretical analyses to prove MetaMask can obtain tighter risk bounds for downstream classification compared to typical contrastive methods. Empirically, our method achieves state-of-the-art performance on various benchmarks.

研究动机与目标

• 解决对比自监督学习中持续存在的缺陷：无关任务信息的干扰和样本效率低下。
• 识别维度冗余和维度混淆因子作为平凡解和性能下降的根本原因。
• 开发一种方法，学习一种动态的、任务感知的掩码，以在表示学习过程中抑制有害维度。
• 从理论上证明 MetaMask 相较于标准对比学习方法，在下游分类任务中具有更紧的风险界。
• 通过实证验证 MetaMask 在多个基准测试中的优越性，包括 CIFAR-10 和 ImageNet。

提出的方法

• MetaMask 引入了一种通过元学习获得的维度掩码，以选择性地抑制特定特征维度的梯度更新。
• 该掩码通过元学习目标进行训练，以优化在下游自监督任务上掩码表示的性能。
• 它结合了冗余减少（通过互相关最小化）与针对性掩码，以将信息丰富的特征与混淆特征解耦。
• 该方法在反向传播过程中应用掩码，以减少包含混淆、混沌或背景信息的维度对梯度的影响。
• 该方法与标准对比学习框架兼容，可与现有架构和数据增强策略无缝集成。
• 理论分析表明，MetaMask 的泛化风险界比标准对比学习更紧。

实验结果

研究问题

• RQ1 能否将维度冗余和混淆因子识别为对比自监督学习中平凡解和样本效率低下的核心原因？
• RQ2 如何设计一种动态可学习的掩码，以在无需人工设计的情况下抑制来自混淆特征维度的梯度传播？
• RQ3 与固定或随机掩码相比，通过元学习掩码是否能带来更好的下游性能和更紧的泛化风险界？
• RQ4 与基线对比学习方法相比，MetaMask 在多大程度上提升了对数据增强和背景伪影的鲁棒性？
• RQ5 MetaMask 是否能在 CIFAR-10 和 ImageNet 等标准基准上实现最先进性能，同时保持理论保证？

主要发现

• MetaMask 在 CIFAR-10 和 ImageNet 上实现了最先进性能，优于现有的对比学习方法。
• 该方法在对数据增强和背景伪影的鲁棒性方面表现更优，显著减少了平凡或混淆特征的干扰。
• 实证结果表明，在 MetaMask 框架下，增加投影头维度可进一步提升性能，支持其掩码机制的有效性。
• 理论分析证实，MetaMask 在下游分类任务中相比标准对比学习方法具有更紧的风险界。
• 可视化结果表明，MetaMask 学习到的表示更具解耦性，具有更强的类别判别能力，且维度间相似性更低。