[论文解读] More Than Meets The Eye: Semi-supervised Learning Under Non-IID Data

Calderon-Ramirez, Saul, Luis Oala|arXiv (Cornell University)|Apr 20, 2021

Domain Adaptation and Few-Shot Learning参考文献 22被引用 5

一句话总结

本文挑战了在非独立同分布（non-IID）数据下半监督学习（SSDL）中常见的语义数据集匹配实践，表明此类启发式方法甚至会降低最先进模型（如MixMatch）的性能。本文提出使用预训练ImageNet分类器的特征空间中的基于密度的相异度度量，作为更可靠、定量的未标注数据选择准则，并通过大量实验和公开的仿真沙盒进行了验证。

ABSTRACT

A common heuristic in semi-supervised deep learning (SSDL) is to select unlabelled data based on a notion of semantic similarity to the labelled data. For example, labelled images of numbers should be paired with unlabelled images of numbers instead of, say, unlabelled images of cars. We refer to this practice as semantic data set matching. In this work, we demonstrate the limits of semantic data set matching. We show that it can sometimes even degrade the performance for a state of the art SSDL algorithm. We present and make available a comprehensive simulation sandbox, called non-IID-SSDL, for stress testing an SSDL algorithm under different degrees of distribution mismatch between the labelled and unlabelled data sets. In addition, we demonstrate that simple density based dissimilarity measures in the feature space of a generic classifier offer a promising and more reliable quantitative matching criterion to select unlabelled data before SSDL training.

研究动机与目标

• 研究标注数据与未标注数据之间分布不匹配对半监督学习（SSDL）性能的影响。
• 评估基于语义匹配启发式方法（如按类别或类别匹配）在非IID设置下选择未标注数据的可靠性。
• 开发并验证一种基于特征空间的定量准则，用于未标注数据选择，其性能优于语义启发式方法。
• 提供一个全面、可复现的仿真沙盒non-IID-SSDL，用于在不同分布偏移程度下压力测试SSDL算法。
• 证明在深度特征空间中使用简单的相异度度量，可比人工标注的语义类别在数据选择中提供更稳健的性能。

提出的方法

• 开发了一个灵活的仿真沙盒non-IID-SSDL，具有五个自由度：基础分布内数据、分布外（OOD）数据类型、OOD数据来源、OOD数据比例以及标注样本数量。
• 以MixMatch——一种最先进SSDL算法——作为主要评估模型，在多种数据分布不匹配场景下进行测试。
• 提出一种基于预训练Wide-ResNet在ImageNet上特征空间的定量数据选择准则，包括Minkowski距离（ℓ₁与ℓ₂）、Jensen-Shannon散度以及基于相关性的相异度度量。
• 对数据子样本计算相异度度量以确保计算可行性，并通过Wilcoxon符号秩检验验证统计显著性。
• 通过比较不同数据集之间的特征分布进行定性分析，并对每种配置执行10次独立运行，报告平均准确率与方差。
• 通过公开的GitHub仓库发布所有代码、脚本和数据，以确保可复现性。

实验结果

研究问题

• RQ1 当标注数据与未标注数据之间存在分布偏移时，使用人类定义的类别（如'动物'与'车辆'）进行语义匹配是否能可靠提升SSDL性能？
• RQ2 在标注数据与未标注数据之间分布偏移程度增加的情况下，最先进SSDL模型MixMatch的性能如何退化？
• RQ3 预训练分类器的深度特征空间中的基于密度的相异度度量，能否作为未标注数据选择中语义匹配的更可靠、更定量的替代方案？
• RQ4 所观察到的相异度度量在不同数据集配置和实验运行中是否具有统计显著性与一致性？
• RQ5 在非IID设置下，基于语义与基于特征空间准则选择未标注数据，对最终模型准确率的影响程度如何？

主要发现

• 语义匹配启发式方法会降低MixMatch性能：例如，当使用FashionMNIST作为标注数据、SVHN作为未标注数据且OOD数据占比100%时，语义匹配下的准确率降至0.540±0.105，而使用所提出的特征空间方法则达到0.794±0.056。
• 所提出的特征空间相异度度量（如ℓ₂距离）在所有数据集组合中均持续优于语义匹配，最高准确率达到0.794±0.056，该结果是在特征空间中基于与标注数据的ℓ₂距离选择未标注数据时实现的。
• 统计检验（Wilcoxon）证实相异度度量具有意义，大多数比较的p值小于0.05，表明观察到的特征分布差异并非偶然。
• 即使数据集在语义上相似（如MNIST与SVHN），其特征空间距离也较低（如dℓ₂ = 0.011±0.006），表明语义相似性并不总与特征空间接近性一致。
• 特征空间相异度度量与模型性能表现出强相关性：距离越低，准确率通常越高，表明其在有效数据选择中具有预测能力。
• non-IID-SSDL沙盒揭示，性能退化并非单调——在某些配置下，某些OOD数据源甚至能提升性能，凸显了SSDL中分布偏移的复杂性。