[论文解读] MixMOOD: A systematic approach to class distribution mismatch in semi-supervised learning using deep dataset dissimilarity measures.

Saúl Calderón-Ramírez, Luis Oala+5 more|arXiv (Cornell University)|Jun 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 20被引用 6

一句话总结

MixMOOD 提出了一种系统性方法，通过引入深度数据集不相似度度量（DeDiMs）来解决弱监督学习中类别分布不匹配的问题，从而在训练前对未标注数据集进行定量评估与排序。基于 Wide-ResNet 特征空间的 DeDiMs 实现了模型无关、快速的数据集相似性评估，与 MixMatch 准确率具有强相关性，能够实现最优未标注数据选择，从而在分布偏移情况下提升性能。

ABSTRACT

In this work, we propose MixMOOD - a systematic approach to mitigate effect of class distribution mismatch in semi-supervised deep learning (SSDL) with MixMatch. This work is divided into two components: (i) an extensive out of distribution (OOD) ablation test bed for SSDL and (ii) a quantitative unlabelled dataset selection heuristic referred to as MixMOOD. In the first part, we analyze the sensitivity of MixMatch accuracy under 90 different distribution mismatch scenarios across three multi-class classification tasks. These are designed to systematically understand how OOD unlabelled data affects MixMatch performance. In the second part, we propose an efficient and effective method, called deep dataset dissimilarity measures (DeDiMs), to compare labelled and unlabelled datasets. The proposed DeDiMs are quick to evaluate and model agnostic. They use the feature space of a generic Wide-ResNet and can be applied prior to learning. Our test results reveal that supposed semantic similarity between labelled and unlabelled data is not a good heuristic for unlabelled data selection. In contrast, strong correlation between MixMatch accuracy and the proposed DeDiMs allow us to quantitatively rank different unlabelled datasets ante hoc according to expected MixMatch accuracy. This is what we call MixMOOD. Furthermore, we argue that the MixMOOD approach can aid to standardize the evaluation of different semi-supervised learning techniques under real world scenarios involving out of distribution data.

研究动机与目标

• 探究分布外（OOD）未标注数据对半监督学习性能的影响，特别是对 MixMatch 的影响。
• 识别在 SSDL 中依赖语义相似度进行未标注数据选择的不足之处。
• 开发一种定量、模型无关的启发式方法，用于选择能最大化预期 MixMatch 准确率的未标注数据集。
• 建立在真实世界分布偏移场景下评估 SSDL 方法的标准化流程。

提出的方法

• 作者构建了一个全面的 OOD 消融测试平台，在三个多分类任务中设置了 90 种不同的分布不匹配场景，以评估 MixMatch 的鲁棒性。
• 提出深度数据集不相似度度量（DeDiMs），利用预训练的 Wide-ResNet 提取的特征表示，计算标签数据集与未标注数据集之间的相似度。
• DeDiMs 在训练前进行评估，设计为快速且模型无关，支持事前（ante hoc）的未标注数据选择。
• 该方法根据 DeDiM 分数对未标注数据集进行排序，分数越高表示预期的 MixMatch 性能越好。
• 该方法利用特征空间距离量化数据集间的不相似度，避免依赖启发式的语义相似度。
• 该框架命名为 MixMOOD，可实现系统化的未标注数据选择，以缓解因分布不匹配导致的性能下降。

实验结果

研究问题

• RQ1 未标注数据中的类别分布不匹配如何影响半监督学习中 MixMatch 的性能？
• RQ2 标签数据与未标注数据之间的语义相似度是否是 SSDL 中选择未标注数据的可靠指标？
• RQ3 深度数据集不相似度度量（DeDiMs）能否作为训练前预测 MixMatch 准确率的定量指标？
• RQ4 通过实现最优未标注数据集选择，DeDiMs 能在多大程度上提升模型性能？
• RQ5 MixMOOD 能否在真实世界分布偏移条件下，实现对 SSDL 方法评估的标准化？

主要发现

• 标签数据与未标注数据之间的语义相似度是未标注数据选择的不良启发式方法，因为它无法可靠预测 MixMatch 性能。
• DeDiM 分数与实际的 MixMatch 准确率之间存在强相关性，验证了 DeDiMs 作为模型性能可靠预测器的有效性。
• 所提出的 MixMOOD 框架可在训练前基于预期准确率，实现对未标注数据集的有效、定量排序。
• DeDiMs 计算速度快且与模型无关，适合集成到标准的 SSDL 流程中。
• 该方法通过选择与标签分布高度一致的未标注数据，提升了对分布偏移的鲁棒性。
• MixMOOD 为在现实 OOD 场景下评估 SSDL 方法提供了标准化的评估协议，增强了可复现性与可比性。