[论文解读] How Does a Neural Network's Architecture Impact Its Robustness to Noisy Labels?

Jingling Li, Mozhi Zhang+3 more|arXiv (Cornell University)|Dec 23, 2020

Machine Learning and Data Classification参考文献 92被引用 6

一句话总结

本文通过提出一种通过学习表征的预测能力来衡量鲁棒性的框架，研究了神经网络架构如何影响对噪声标签的鲁棒性。研究发现，即使在测试误差较高的情况下，与目标函数高度对齐的网络仍能保持强预测性表征，尤其在类别相关或实例相关噪声下，其表现优于当前最先进方法——前提是存在这种对齐。

ABSTRACT

Noisy labels are inevitable in large real-world datasets. In this work, we explore an area understudied by previous works -- how the network's architecture impacts its robustness to noisy labels. We provide a formal framework connecting the robustness of a network to the alignments between its architecture and target/noise functions. Our framework measures a network's robustness via the predictive power in its representations -- the test performance of a linear model trained on the learned representations using a small set of clean labels. We hypothesize that a network is more robust to noisy labels if its architecture is more aligned with the target function than the noise. To support our hypothesis, we provide both theoretical and empirical evidence across various neural network architectures and different domains. We also find that when the network is well-aligned with the target function, its predictive power in representations could improve upon state-of-the-art (SOTA) noisy-label-training methods in terms of test accuracy and even outperform sophisticated methods that use clean labels.

研究动机与目标

• 研究神经网络架构如何影响深度学习中尚未被充分研究的噪声标签鲁棒性。
• 通过学习表征上的预测能力度量，形式化架构对齐与鲁棒性之间的关系。
• 通过实证验证，更好的目标函数对齐可带来在噪声标签设置下的更优性能。
• 证明即使在没有干净标签的情况下，对齐良好的网络也能超越当前最先进噪声标签训练方法。
• 表明在真实世界噪声数据集中，表征的预测能力可超过依赖干净标签的方法的性能。

提出的方法

• 通过在少量干净标签上训练线性模型并测量其测试准确率来衡量鲁棒性——将此定义为预测能力。
• 提出一个正式框架，将网络鲁棒性与架构和目标/噪声函数之间的对齐联系起来，改编自[55]。
• 采用简化理论设定，使用可分解函数：f(x) = fr(h(x)) 和 g(x) = gr(h(x))，其中 fr 为线性函数，h 为可学习函数。
• 应用顺序训练方法，表明与 h 对齐的子结构即使在标签噪声下也能保持低预测误差。
• 在合成图任务（GNN 变体）和图像数据集（如 Clothing1M）上进行实证评估，涵盖多种噪声类型。
• 在随机噪声和真实（类别相关或实例相关）噪声下，比较不同架构和噪声标签方法（包括 DivideMix）的性能。

实验结果

研究问题

• RQ1 与目标函数的架构对齐如何影响网络对噪声标签的鲁棒性？
• RQ2 如果表征具有预测能力，即使测试误差较高，网络是否仍能对标签噪声保持鲁棒？
• RQ3 在不同架构和噪声类型下，表征的预测能力是否与鲁棒性相关？
• RQ4 对齐良好的架构能否超越当前最先进噪声标签训练方法，尤其在真实噪声设置下？
• RQ5 像 DivideMix 这类最先进方法的性能如何随网络与目标函数对齐程度的变化而变化？

主要发现

• 与目标函数高度对齐的网络即使在测试准确率较低时，其表征仍能保持高预测能力，表明对噪声标签具有鲁棒性。
• 在合成图任务中，与算法函数对齐的 GNN 变体在噪声标签下表现出显著优于未对齐对应物的预测能力。
• 在包含真实世界标签噪声的 Clothing1M 数据集上，对齐良好的网络超越了使用干净标签的复杂方法，证明了架构对齐的实际影响。
• 对于与目标函数对齐较差的网络，最先进的方法如 DivideMix 几乎无法提供改进，甚至可能降低性能。
• 对齐良好的网络显著提升了最先进方法的性能，尤其在类别相关或实例相关噪声下，这些场景下现有方法表现不佳。
• 理论分析表明，在顺序训练下，与 h 对齐的子结构的表征能以高概率保持低预测误差（P ≤ ε），即使在训练数据存在噪声时也是如此。