[论文解读] MixMatch: A Holistic Approach to Semi-Supervised Learning

David Berthelot, Nicholas Carlini+4 more|arXiv (Cornell University)|May 6, 2019

Privacy-Preserving Technologies in Data参考文献 47被引用 604

一句话总结

MixMatch 将熵最小化、一致性正则化和 MixUp 统一起来，以提升半监督学习，显著在少量标签条件下达到最先进的结果，并实现更好的隐私-效用权衡。

ABSTRACT

Semi-supervised learning has proven to be a powerful paradigm for leveraging unlabeled data to mitigate the reliance on large labeled datasets. In this work, we unify the current dominant approaches for semi-supervised learning to produce a new algorithm, MixMatch, that works by guessing low-entropy labels for data-augmented unlabeled examples and mixing labeled and unlabeled data using MixUp. We show that MixMatch obtains state-of-the-art results by a large margin across many datasets and labeled data amounts. For example, on CIFAR-10 with 250 labels, we reduce error rate by a factor of 4 (from 38% to 11%) and by a factor of 2 on STL-10. We also demonstrate how MixMatch can help achieve a dramatically better accuracy-privacy trade-off for differential privacy. Finally, we perform an ablation study to tease apart which components of MixMatch are most important for its success.

研究动机与目标

• 通过统一主流的 SSL 范式，推动减少 SSL 的有标签数据需求。
• 开发一个统一的整体损失，有效利用未标注数据。
• 在标准图像 SSL 基准测试上展示显著的实证提升。
• 在隐私保护学习（PATE）中使用 MixMatch 探索隐私-效用的好处。

提出的方法

• 通过对 K 次增强的预测取平均并使用温度 T 进行锐化，为增强的未标注数据猜测低熵标签。
• 通过一个改进的 MixUp 将有标签数据和未标签数据结合起来，保持批次顺序并将标签混合为概率分布。
• 对增强的有标签数据使用交叉熵计算监督损失，对已猜测标签的未标签数据使用有界 L2（Brier）损失计算无监督损失。
• 使用组合损失 L = L_X + λ_U L_U 进行训练，超参数包括 T、K、α（用于 MixUp 的 Beta 分布）以及 λ_U。
• 提供算法描述（Algorithm 1）和标签猜测步骤图（Figure 1）以说明该过程。

实验结果

研究问题

• RQ1 一个结合熵最小化、一致性正则化和 MixUp 的统一损失是否能在标准基准上提升 SSL 的性能？
• RQ2 数据增强、标签猜测以及将未标记数据与有标记数据混合对性能提升有何贡献？
• RQ3 关键超参数（T、K、α、λ_U）对半监督准确性和稳定性有何影响？
• RQ4 MixMatch 是否有益于隐私保护学习设置（如 PATE）和差分隐私预算？

主要发现

• 在标准的 SSL 图像基准测试中达到最先进的结果。
• 在 CIFAR-10 仅 250 个有标签示例的情况下，MixMatch 将错误率显著降低（例如，从摘要中的 38% 降至 11%）。
• 在 CIFAR-10 4000 标签时，MixMatch 达到 6.24% 的错误率，接近使用 50,000 标签的监督性能。
• 在 SVHN 和 STL-10 上显示出强劲的结果，包括在有限标注数据下具有竞争力或优越的性能。
• 展示了隐私保护学习中的改进的准确性-隐私权衡，在 ε ≈ 0.97 时达到 95.21% 的测试准确率（相对于 ε ≈ 4.96 的 VAT 基线）。
• 消融研究显示每个组成部分（增强平均、锐化、 EMA、MixUp 以及跨组件混合）都对性能有贡献，特别是在极低标签情形下。