[论文解读] Exploratory Learning

Bhavana Dalvi, William W. Cohen+1 more|arXiv (Cornell University)|Jul 1, 2013

Bayesian Methods and Mixture Models参考文献 25被引用 3

一句话总结

本文提出 Exploratory EM，一种新颖的半监督学习框架，可在训练过程中动态引入新类别，适用于类别数量未知的情况。通过检测具有近乎均匀后验分布的难分类样本并将其分配给新类别，该方法显著提升了已知类别的 F1 分数——在 Reuters 数据集上最高提升 200%，优于传统 SSL 和非参数贝叶斯聚类方法。

ABSTRACT

In multiclass semi-supervised learning (SSL), it is sometimes the case that the number of classes present in the data is not known, and hence no labeled examples are provided for some classes. In this paper we present variants of well-known semi-supervised multiclass learning methods that are robust when the data contains an unknown number of classes. In particular, we present an “exploratory” extension of expectation-maximization (EM) that explores different numbers of classes while learning. “Exploratory” SSL greatly improves performance on three datasets in terms of F1 on the classes <em>with</em> seed examples—i.e., the classes which are expected to be in the data. Our Exploratory EM algorithm also outperforms a SSL method based non-parametric Bayesian clustering.

研究动机与目标

• 为解决传统半监督学习（SSL）方法的局限性，即假设所有类别在训练前均已知，尤其当数据中存在未预期的类别时。
• 在仅部分类别有种子样本的情况下，提升已知类别的 SSL 性能，避免因未知类别干扰导致的性能下降。
• 开发一种稳健且自适应的学习框架，可在无需预先知晓类别总数的情况下，在训练过程中发现新类别。
• 在多分类任务中，相较于现有非参数贝叶斯聚类方法和固定混合模型的 SSL 基线，提升准确率与效率。

提出的方法

• 提出一种探索性扩展的 EM 算法，允许在每次 E 步中动态创建新类别（C_{k+1} 至 C_m），而非预先固定类别数量。
• 采用启发式准则检测难分类样本——即后验类别概率接近均匀分布的样本——并将其分配给新类别。
• 将该框架应用于三种经典的 SSL 方法：半监督朴素贝叶斯、带种子的 K-Means 以及带种子的 von Mises-Fisher 分布混合模型。
• 采用模型选择策略，在每次潜在类别创建后评估对数似然的提升，以决定是否接受新类别。
• 与基于 Chinese Restaurant Process（CRP）的 Gibbs 采样非参数贝叶斯基线进行比较，以实现聚类发现。
• 实现一种变体称为 Explore-KMeans，采用类似的启发式方法进行聚类创建，并表现出优异的鲁棒性基线性能。

实验结果

研究问题

• RQ1 当存在未预期的类别但未在模型中考虑时，标准半监督学习方法的性能会如何退化？
• RQ2 在 EM 训练过程中动态引入新类别，能否提升已知类别在有种子样本情况下的分类准确率？
• RQ3 基于启发式的难分类样本检测准则，在有效性与效率上，相较于随机或均匀的类别创建方式，表现如何？
• RQ4 Exploratory EM 在发现未知类别及提升已知类别性能方面，相较于非参数贝叶斯聚类（如基于 CRP 的 Gibbs 采样）表现如何？
• RQ5 所提出的方法能否在生成紧凑且接近最优数量聚类的同时，保持高准确率？

主要发现

• 与传统 SSL 方法相比，Exploratory EM 显著提升了已知类别的 F1 分数——在 Delicious Sports 数据集上最高提升 90%，在 20-Newsgroups 上提升 27%，在 Reuters 上提升高达 200%。
• 基于启发式的类别创建策略（针对后验分布接近均匀的样本）比随机或均匀的类别引入方式更有效。
• Explore-KMeans 作为框架的变体，在准确率和速度上均优于带种子的 CRP 聚类方法，除非 CRP 参数被精细调优。
• 当仅部分类别有种子样本时，该探索性框架比传统基于 EM 的 SSL 更具鲁棒性，可有效防止因未知类别样本被错误分类到已知类别而引起的语义漂移。
• 该方法能够实时发现新聚类，生成的模型聚类数更接近真实类别数，优于基于 CRP 的基线方法。
• 该框架在多种数据集上表现出强大的泛化能力，涵盖名词短语分类与文档分类等任务。