[论文解读] Masking: A New Perspective of Noisy Supervision

Bo Han, Jiangchao Yao+5 more|arXiv (Cornell University)|May 21, 2018

Machine Learning and Data Classification参考文献 43被引用 102

一句话总结

引入 Masking，一种结构感知的概率模型，利用人类提供的结构先验来约束噪声转移矩阵，从而在端到端学习中提升对噪声标签的鲁棒性。

ABSTRACT

It is important to learn various types of classifiers given training data with noisy labels. Noisy labels, in the most popular noise model hitherto, are corrupted from ground-truth labels by an unknown noise transition matrix. Thus, by estimating this matrix, classifiers can escape from overfitting those noisy labels. However, such estimation is practically difficult, due to either the indirect nature of two-step approaches, or not big enough data to afford end-to-end approaches. In this paper, we propose a human-assisted approach called Masking that conveys human cognition of invalid class transitions and naturally speculates the structure of the noise transition matrix. To this end, we derive a structure-aware probabilistic model incorporating a structure prior, and solve the challenges from structure extraction and structure alignment. Thanks to Masking, we only estimate unmasked noise transition probabilities and the burden of estimation is tremendously reduced. We conduct extensive experiments on CIFAR-10 and CIFAR-100 with three noise structures as well as the industrial-level Clothing1M with agnostic noise structure, and the results show that Masking can improve the robustness of classifiers significantly.

研究动机与目标

• 通过利用噪声转移矩阵中的结构来激发对带噪声标签的学习。
• 提出一个结构感知的概率模型(MASKING)，将先验结构融入端到端学习。
• 通过聚焦于未掩码、可信的转移来降低对噪声转移的估计负担。
• 在CIFAR-10/100的结构化噪声以及带无偏性噪声的Clothing1M上展示鲁棒性提升。

提出的方法

• 用潜变量s和结构变量s_o = f(s)来建模噪声转移矩阵。
• 展示结构先验P(s_o)并通过变分分布Q(s)近似后验。
• 使用一个温和的sigmoid f(s)来模拟人类认知在提取结构（对角、三对角、块对角）中的过程。
• 采纳类似GAN的方案：生成器（生成Q(s)）、判别器（使结构对P(s_o)对齐）、重构器（连接y、x与噪声标签tilde y）。
• 推导一个基于ELBO的目标，将数据似然与结构对齐项结合起来（Eq. 1）。
• 提供一个端到端训练方案，避免对正则化项进行手动超参数调优。

实验结果

研究问题

• RQ1 如何将源自人类认知的结构先验整合到带噪声标签的学习中？
• RQ2 在有限数据下，对噪声转移矩阵施加一个合理的结构，是否提升估计和最终分类器准确性？
• RQ3 在结构化噪声条件下，贝叶斯/隐式建模方法(MASKING) 是否优于传统的两步或端到端的带噪声标签方法？
• RQ4 MASKING在不同噪声结构（列对角、三对角、块对角）以及真实世界无偏噪声（Clothing1M）下的表现如何？

主要发现

模型	Clothing1M 精度（%）
NOISY	68.9
F-correction	69.8
S-adaptation	70.3
MASKING	71.1
CLEAN	75.2

• MASKING在带结构噪声的基准数据集上持续优于前向修正和S-adaptation。
• 在CIFAR-10/100上，MASKING在几种噪声结构下的表现接近干净数据oracle。
• 在Clothing1M的无偏噪声下，MASKING (71.1%) 超过 NOISY (68.9%), F-correction (69.8%), 和 S-adaptation (70.3%), 接近 CLEAN (75.2%)。
• MASKING对噪声转移矩阵的估计与真实/期望结构的对齐程度高于基线。
• 该方法在多种噪声模式（对角、三对角、块对角）以及真实世界的带噪声数据上均显示出稳健改进。
• 该框架提供了一种有原则性、低超参数负担的方式，通过类似GAN的结构引入结构先验。