[论文解读] An Empirical Study and Analysis on Open-Set Semi-Supervised Learning

Huixiang Luo, Hao Cheng+5 more|arXiv (Cornell University)|Jan 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 69被引用 4

一句话总结

本文提出Style Disturbance方法，通过利用分布外（OOD）样本进行风格迁移，增强开放集半监督学习中的伪标签（PL）和基于数据增强的一致性训练（DACT）。通过缩小分布内（ID）与OOD数据之间的分布差距，该方法在CIFAR-10和Tiny ImageNet上实现最先进性能，相较于先前SOTA方法分别提升准确率3.35%和0.92%。

ABSTRACT

Pseudo-labeling (PL) and Data Augmentation-based Consistency Training (DACT) are two approaches widely used in Semi-Supervised Learning (SSL) methods. These methods exhibit great power in many machine learning tasks by utilizing unlabeled data for efficient training. But in a more realistic setting (termed as open-set SSL), where unlabeled dataset contains out-of-distribution (OOD) samples, the traditional SSL methods suffer severe performance degradation. Recent approaches mitigate the negative influence of OOD samples by filtering them out from the unlabeled data. However, it is not clear whether directly removing the OOD samples is the best choice. Furthermore, why PL and DACT could perform differently in open-set SSL remains a mystery. In this paper, we thoroughly analyze various SSL methods (PL and DACT) on open-set SSL and discuss pros and cons of these two approaches separately. Based on our analysis, we propose Style Disturbance to improve traditional SSL methods on open-set SSL and experimentally show our approach can achieve state-of-the-art results on various datasets by utilizing OOD samples properly. We believe our study can bring new insights for SSL research.

研究动机与目标

• 研究在未见分布外（OOD）样本存在于无标签数据中的开放集半监督学习（开放集SSL）设置下，伪标签（PL）和基于数据增强的一致性训练（DACT）的鲁棒性。
• 分析PL和DACT在OOD条件下表现不同的原因，以及过滤OOD样本是否为最优策略。
• 探索将OOD样本作为有益训练信号而非噪声的潜力。
• 提出一种统一方法——Style Disturbance，通过引入OOD风格扰动来同时增强PL和DACT。
• 证明通过合理利用OOD样本，可使性能超越开放集SSL的传统上限。

提出的方法

• Style Disturbance使用基于AdaIN的风格迁移网络，将OOD风格特征应用于分布内（ID）样本，以缩小有标签（ID）与无标签（ID+OOD）数据之间的分布差距。
• 在DACT中，该方法对无标签数据的弱增强和强增强视图均施加风格扰动，提升一致性与鲁棒性。
• 在PL中，直接在伪标签生成过程中对ID样本的特征表示施加OOD风格扰动。
• 风格迁移网络使用ID样本作为内容数据集、OOD样本作为风格数据集进行训练，编码器采用VGG-19，解码器为可学习结构。
• 在DACT中使用简化的OOD检测模块，而在PL中假设OOD样本被完美识别。
• 训练过程中，插值权重β和ω从[0, 0.5]中随机采样，以增加数据多样性。

实验结果

研究问题

• RQ1 为何在存在OOD样本的开放集SSL设置下，DACT比PL表现出更强鲁棒性？
• RQ2 移除OOD样本是否为提升开放集SSL中模型泛化能力的最优策略？
• RQ3 能否将OOD样本建设性地加以利用而非过滤掉？若可，如何实现？
• RQ4 DACT的鲁棒性与ID和OOD数据间分布差距之间存在何种关系？
• RQ5 能否通过基于风格的数据增强，设计一种统一方法同时提升PL和DACT？

主要发现

• DACT在开放集SSL中本身比PL更具鲁棒性，但需采用精心设计且多样的数据增强策略以维持性能。
• 所提出的Style Disturbance方法通过引入OOD风格特征扰动，有效缩小ID与OOD数据间的分布差距，从而同时提升PL和DACT的性能。
• 在CIFAR-10数据集上，使用1,000个标注样本时，该方法相较于MTCF（Yu et al., 2020）这一先前SOTA方法，准确率提升3.35%。
• 在Tiny ImageNet上，该方法相较于DS3L（Guo et al., 2020）这一另一SOTA基线，性能提升0.92%。
• 实验结果证实，当OOD样本被合理整合时可发挥积极作用，挑战了其必须被过滤的既有假设。
• 消融实验表明，风格迁移模块与OOD数据的使用均对性能提升有显著贡献，验证了方法设计的有效性。