[论文解读] An Investigation into Whitening Loss for Self-supervised Learning

Xi Weng, Lei Huang+4 more|arXiv (Cornell University)|Oct 7, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种新型自监督学习方法——随机分组通道白化（Channel Whitening with Random Group Partition, CW-RGP），通过通道内白化与随机分组相结合，强制实现满秩嵌入，从而避免表示坍塌。与批量白化方法不同，CW-RGP在不依赖大批次大小的情况下仍能保持优异性能，在ImageNet分类和COCO目标检测任务上均达到最先进水平，COCO检测mAP达到60.5，实例分割mAP达到57.3。

ABSTRACT

A desirable objective in self-supervised learning (SSL) is to avoid feature collapse. Whitening loss guarantees collapse avoidance by minimizing the distance between embeddings of positive pairs under the conditioning that the embeddings from different views are whitened. In this paper, we propose a framework with an informative indicator to analyze whitening loss, which provides a clue to demystify several interesting phenomena as well as a pivoting point connecting to other SSL methods. We reveal that batch whitening (BW) based methods do not impose whitening constraints on the embedding, but they only require the embedding to be full-rank. This full-rank constraint is also sufficient to avoid dimensional collapse. Based on our analysis, we propose channel whitening with random group partition (CW-RGP), which exploits the advantages of BW-based methods in preventing collapse and avoids their disadvantages requiring large batch size. Experimental results on ImageNet classification and COCO object detection reveal that the proposed CW-RGP possesses a promising potential for learning good representations. The code is available at https://github.com/winci-ai/CW-RGP.

研究动机与目标

• 研究白化损失在自监督学习中的理论与实际行为，揭示其在防止表示坍塌中的作用。
• 分析为何某些白化变换即使具备理论保证，仍无法防止维度坍塌。
• 开发一种方法，在保留批量白化防坍塌优势的同时，消除其对大批次大小的依赖。
• 提出一种理论基础扎实且实证有效的批量白化替代方法，用于自监督表示学习。

提出的方法

• 将对称白化损失分解为两个非对称损失，每个损失要求在线网络匹配一个白化目标，从而与其它SSL方法建立联系。
• 提出通道白化与随机分组（CW-RGP），即在随机划分的通道组内进行白化，而非在整个批次上进行。
• 采用对嵌入的满秩约束作为防坍塌的充分条件，表明白化并非严格必要。
• 采用对称训练框架，包含梯度截断与类似预测器的组件，类似于SimSiam，以稳定学习过程。
• 应用随机分组划分以降低计算成本，并提升泛化能力，尤其在小批次设置下表现更优。
• 在ImageNet和COCO上的评估中采用标准数据增强和ResNet主干网络。

实验结果

研究问题

• RQ1 为何某些白化变换即使具备理论保证，仍无法防止维度坍塌？
• RQ2 批量白化在自监督学习中引入的真正归纳偏置是什么？
• RQ3 能否设计一种基于白化的方法，在避免大批次大小依赖的同时，仍保持防坍塌能力？
• RQ4 与全批量白化相比，通道白化中的随机分组划分为何能提升表示学习性能？
• RQ5 在自监督学习中，满秩嵌入与防坍塌之间的关系是什么？

主要发现

• CW-RGP在COCO目标检测上达到60.5 mAP，在实例分割上达到57.3 mAP，优于或匹配SimSiam和MoCo v2等SOTA方法。
• 与标准通道白化相比，CW-RGP在CIFAR-100上的线性探测和5-NN准确率分别提升1.25和1.29个百分点。
• 在小批次设置下，CW-RGP比批量白化更具鲁棒性，在批次大小为32和64时，准确率下降更小。
• 消融实验表明，随机分组划分相比固定分组划分和标准通道白化，能进一步提升性能。
• 批量白化方法并未施加真正的白化约束；相反，它们仅要求嵌入为满秩，而这一条件已足以防止坍塌。
• 理论分析表明，批量白化中的关键机制是满秩性，而非白化本身，这解释了此类方法的实证成功。