[论文解读] Investigating Power laws in Deep Representation Learning

Arna Ghosh, Arnab Kumar Mondal+2 more|arXiv (Cornell University)|Feb 11, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出使用深度神经网络表征的特征谱的幂律衰减系数 α 作为表征质量的无标签代理指标。通过分析不同架构和自监督学习目标下的特征协方差矩阵，作者发现当 α ≈ 1 时，与下游泛化性能和标签噪声鲁棒性具有强相关性，提供了一种可扩展的、无需标签的度量方法，用于在不依赖下游任务的情况下评估自监督表征的质量。

ABSTRACT

Representation learning that leverages large-scale labelled datasets, is central to recent progress in machine learning. Access to task relevant labels at scale is often scarce or expensive, motivating the need to learn from unlabelled datasets with self-supervised learning (SSL). Such large unlabelled datasets (with data augmentations) often provide a good coverage of the underlying input distribution. However evaluating the representations learned by SSL algorithms still requires task-specific labelled samples in the training pipeline. Additionally, the generalization of task-specific encoding is often sensitive to potential distribution shift. Inspired by recent advances in theoretical machine learning and vision neuroscience, we observe that the eigenspectrum of the empirical feature covariance matrix often follows a power law. For visual representations, we estimate the coefficient of the power law, $α$, across three key attributes which influence representation learning: learning objective (supervised, SimCLR, Barlow Twins and BYOL), network architecture (VGG, ResNet and Vision Transformer), and tasks (object and scene recognition). We observe that under mild conditions, proximity of $α$ to 1, is strongly correlated to the downstream generalization performance. Furthermore, $α\approx 1$ is a strong indicator of robustness to label noise during fine-tuning. Notably, $α$ is computable from the representations without knowledge of any labels, thereby offering a framework to evaluate the quality of representations in unlabelled datasets.

研究动机与目标

• 探究深度神经网络表征的特征谱是否遵循幂律，特别是在自监督学习中。
• 确定幂律系数 α 是否与下游泛化性能以及对分布偏移或标签噪声的鲁棒性相关。
• 开发一种无需访问下游标签的无标签表征质量评估度量。
• 探索在噪声监督下微调过程中 α 与模型鲁棒性的关系。
• 评估 α 是否可作为跨架构和学习目标的表征质量的合理、可扩展代理指标。

提出的方法

• 从大规模无标签数据集上深层网络激活的实证特征协方差矩阵 Σ_N(f) 中计算。
• 计算 Σ_N(f) 的特征谱，并拟合幂律 λ_i ∝ i^(-α) 以估计衰减系数 α。
• 在不同网络架构（VGG、ResNet、Vision Transformer）、学习目标（监督学习、SimCLR、Barlow Twins、BYOL）和下游任务（物体与场景识别）中评估 α。
• 将 α 用作表征质量的代理指标，并将其与 STL-10 和 ImageNet 上的下游准确率进行相关性分析。
• 在微调过程中引入 15% 的标签噪声，以评估鲁棒性，跟踪训练轮次中 α 和准确率的变化。
• 比较不同模型和训练目标下的 α 值，以识别不依赖标签的表征质量模式。

实验结果

研究问题

• RQ1 深度神经网络表征的特征谱是否遵循幂律，衰减系数 α 的值是多少？
• RQ2 α 在不同架构和学习目标下与下游泛化性能的相关性如何？
• RQ3 α 是否是微调过程中对标签噪声鲁棒性的可靠预测指标？
• RQ4 α 是否可作为自监督学习中表征质量的无标签度量？
• RQ5 α ≈ 1 是否代表了表征的一种基本属性，从而实现更好的泛化能力和鲁棒性？

主要发现

• 特征谱的幂律衰减系数 α 与在 STL-10 和 ImageNet 上的下游分类准确率强相关，当 α ≈ 1 时性能达到峰值。
• 使用自监督目标预训练的模型（如 Barlow Twins、SimCLR）表现出 α ≈ 1，并在下游任务中取得更高准确率（如在 STL-10 上达到 91.81%），优于监督预训练。
• 在微调过程中引入 15% 的标签噪声时，α 接近 1 的模型（如 Barlow Twins）表现出显著更强的鲁棒性，准确率仅下降约 3.36%，而监督预训练模型的下降幅度约为 8.20%。
• 随着微调进行且验证准确率提升，α 从两侧趋近于 1，表明性能与谱结构之间存在动态关系。
• Vision Transformer 架构在早期层中表现出 α > 1，这可能是由于其全局感受野导致早期表征中冗余更高、有效秩更低。
• α 可在无需标签的情况下从表征中计算得出，使其成为在无标签数据集中评估自监督表征质量的实用且可扩展的度量。