[论文解读] Instance-Dependent Label-Noise Learning with Manifold-Regularized Transition Matrix Estimation

De Cheng, Tongliang Liu+6 more|arXiv (Cornell University)|Jun 6, 2022

Machine Learning and Data Classification被引用 5

一句话总结

该论文提出了一种流形正则化的实例依赖标签噪声学习过渡矩阵估计方法，利用邻近实例之间的几何相似性来稳定实例特定过渡矩阵的估计。该方法在合成数据集和真实世界数据集上，在高噪声率条件下实现了最先进性能，相比先前方法最高提升达7.67%。

ABSTRACT

In label-noise learning, estimating the transition matrix has attracted more and more attention as the matrix plays an important role in building statistically consistent classifiers. However, it is very challenging to estimate the transition matrix T(x), where x denotes the instance, because it is unidentifiable under the instance-dependent noise(IDN). To address this problem, we have noticed that, there are psychological and physiological evidences showing that we humans are more likely to annotate instances of similar appearances to the same classes, and thus poor-quality or ambiguous instances of similar appearances are easier to be mislabeled to the correlated or same noisy classes. Therefore, we propose assumption on the geometry of T(x) that "the closer two instances are, the more similar their corresponding transition matrices should be". More specifically, we formulate above assumption into the manifold embedding, to effectively reduce the degree of freedom of T(x) and make it stably estimable in practice. The proposed manifold-regularized technique works by directly reducing the estimation error without hurting the approximation error about the estimation problem of T(x). Experimental evaluations on four synthetic and two real-world datasets demonstrate that our method is superior to state-of-the-art approaches for label-noise learning under the challenging IDN.

研究动机与目标

• 解决在标签噪声学习中，于不可识别条件下估计实例依赖过渡矩阵（IDTM）的挑战。
• 在不显著增加近似误差的前提下，降低IDTM的估计误差。
• 在真实世界数据集中高噪声率条件下，提升分类器的一致性与泛化能力。
• 开发一种即插即用模块，以增强现有噪声标签学习框架。

提出的方法

• 提出一种几何假设：'两个实例越接近，其过渡矩阵应越相似'，该假设基于人类标注行为的心理学和生理学证据。
• 通过流形嵌入形式化该假设，使用k近邻亲和矩阵对过渡矩阵估计进行正则化。
• 采用仅含一个全连接层的过渡神经网络（TNN）来预测实例特定的过渡矩阵 $ T(\mathbf{x}) $，并利用流形结构进行正则化。
• 引入一种流形正则化损失，惩罚相似实例 $ \mathbf{x}_i, \mathbf{x}_j $ 之间 $ T(\mathbf{x}_i) $ 与 $ T(\mathbf{x}_j) $ 的大差异，从而降低估计方差。
• 使用交叉熵损失进行分类器的端到端训练，其中估计的 $ T(\mathbf{x}) $ 用于在优化过程中校正噪声标签。
• 提出线性版本（MEIDTM）与核化版本（kMEIDTM），以提升泛化能力并捕捉特征空间中的非线性关系。

实验结果

研究问题

• RQ1 能否利用实例间的几何相似性来稳定实例依赖过渡矩阵的估计？
• RQ2 在 $ T(\mathbf{x}) $ 上施加流形平滑性是否能在不增加近似误差的前提下降低估计误差？
• RQ3 在高噪声率和复杂真实世界标签噪声下，该方法表现如何？
• RQ4 该方法能否作为即插即用模块有效集成到现有最先进框架中？
• RQ5 平衡流形正则化与分类损失的最优超参数 $ \lambda $ 是多少？

主要发现

• 所提出的 kMEIDTM 方法在所有噪声率下相比基线 CE 方法提升 2.55% 至 17.29%，且在高噪声条件下增益进一步提升。
• 在 CIFAR-10 数据集（50% 噪声）上，kMEIDTM 相比第二好的方法提升 4.69%，表明在极端噪声设置下具有强鲁棒性。
• 在 Clothing1M 上将 SOTA 框架 DivideMix 提升 0.15%，在 Food101N 上提升 1.22%，表明其作为即插即用模块具备强大泛化能力。
• IDTM 的估计误差在训练过程中持续下降，证实了优化过程的有效性。
• 最优超参数 $ \lambda $ 约为 0.3，在高噪声下性能对 $ \lambda $ 敏感，但在低噪声下保持稳定。
• 核化版本（kMEIDTM）在所有设置下均持续优于线性版本（MEIDTM）0.06% 至 2.76%。