[论文解读] Decoupling "when to update" from "how to update"

Eran Malach, Shai Shalev‐Shwartz|arXiv (Cornell University)|Jun 8, 2017

Machine Learning and Algorithms参考文献 22被引用 127

一句话总结

提出一个元算法，仅在分歧时更新两个预测器，以提高对嘈杂标签的鲁棒性，并在使用嘈杂标签的性别分类任务上展示了最先进的结果。

ABSTRACT

Deep learning requires data. A useful approach to obtain data is to be creative and mine data from various sources, that were created for different purposes. Unfortunately, this approach often leads to noisy labels. In this paper, we propose a meta algorithm for tackling the noisy labels problem. The key idea is to decouple "when to update" from "how to update". We demonstrate the effectiveness of our algorithm by mining data for gender classification by combining the Labeled Faces in the Wild (LFW) face recognition dataset with a textual genderizing service, which leads to a noisy dataset. While our approach is very simple to implement, it leads to state-of-the-art results. We analyze some convergence properties of the proposed algorithm.

研究动机与目标

• 动机：在监督深度学习中存在嘈杂标签的问题，以及对鲁棒数据标注方法的需求。
• 提出一个元算法，将更新时机与更新规则解耦，以减轻标签噪声的影响。
• 在基于感知机的设定中，将理论基础建立在收敛性属性上。
• 在真实世界的嘈杂标签数据上展示实证有效性（基于LFW的性别分类，使用基于姓名的性别服务）。
• 讨论局限性以及基于分布依赖的收敛性及线性预测以外的扩展的途径。

提出的方法

• 提出一个元算法，从同一假设类中维护两个预测器。
• 仅在两个预测器意见不一致的样本上进行更新（Update by Disagreement）。
• 在对不一致子集应用的标准更新规则基础上进行更新（例如感知机或带动量的 SGD）。
• 提供 Update by Disagreement 程序的伪代码。
• 将该方法与主动学习和查询-由-委员会的思路相关联，并指出实际差异（不进行完整版本空间维护）。
• 在基学习器为感知机的线性可分且带有标签噪声的设定下进行理论收敛性分析。

实验结果

研究问题

• RQ1 在标签噪声存在的情况下，Update by Disagreement 算法是否收敛？
• RQ2 与无噪声感知机相比，收敛速率如何，以及在何种假设下？
• RQ3 初始化对收敛质量和最优性的影响？
• RQ4 该方法是否能在现实世界的嘈杂标签数据集上实现稳健性能，超越合成场景？
• RQ5 对于非线性预测模型和真实数据分布，收敛性保证的局限性是什么？

主要发现

• 在他们的理论模型下，该算法收敛，更新次数在无噪声感知机的常数因子内。
• 初始化很重要；初始预测器相同将不进行更新，且在没有额外假设的情况下，随机初始化可能导致次优收敛。
• 在某些分布下，即使数据线性可分，该方法也可能收敛不到零误差，除非使用额外的初始化策略。
• 在基于 LFW 的带噪声标签的性别分类上的实证结果显示，与其他方法相比，在不同噪声水平下具有最先进的鲁棒性。
• 结合噪声自适应及相关方法（如 s-model）时，所提出的方法可以在降噪时提升性能，尤其是在噪声降低时。
• 受控实验表明对高标签噪声率（高达 40%）有韧性，实证证据表明对自然数据具有良好的收敛性。