[论文解读] Exponential Family Hybrid Semi-Supervised Learning

Arvind Agarwal, Hal Daumé|arXiv (Cornell University)|Mar 2, 2010

Text and Document Classification Technologies参考文献 13被引用 9

一句话总结

本文提出了一种广义的混合半监督学习框架，适用于指数族分布，使用共轭先验而非高斯先验来耦合生成模型与判别模型。该方法在性能上优于先前的方法，尤其在文本分类任务中使用Beta/二项分布模型时表现更优，并能为生成参数提供闭式解，从而在灵活性和准确性方面优于现有方法。

ABSTRACT

We present an approach to semi-supervised learning based on an exponential family characterization. Our approach generalizes previous work on coupled priors for hybrid generative/discriminative models. Our model is more flexible and natural than previous approaches. Experimental results on several data sets show that our approach also performs better in practice.

研究动机与目标

• 解决高斯先验在混合半监督学习中耦合生成模型与判别模型时的局限性。
• 将PCP（参数耦合先验）框架从高斯假设推广至任意指数族分布。
• 通过使用与数据分布自然匹配的先验，提升模型的灵活性与性能。
• 推导生成参数的闭式解，避免先前方法所需的数值优化。
• 通过实证验证共轭先验相较于高斯先验在半监督文本分类中的优越性。

提出的方法

• 该框架对生成模型与判别模型均采用指数族分布，实现了对高斯假设的合理泛化。
• 引入一种与生成模型自然参数化相匹配的共轭先验，替代先前工作中使用的非自然高斯先验。
• 通过使用相同对数归一化函数A(θ)的耦合先验，定义联合模型，以确保一致性并促进生成与判别参数之间的对齐。
• 利用共轭先验推导出生成参数的闭式解，消除了对数值优化的依赖。
• 将该框架应用于基于Beta/二项分布共轭对的文本分类任务，建模文档中特征的有无。
• 通过最大后验估计进行模型训练，超参数通过在标注数据上进行交叉验证进行调优。

实验结果

研究问题

• RQ1 能否将混合生成-判别模型从高斯假设推广至任意指数族分布？
• RQ2 使用与数据分布匹配的共轭先验是否优于使用不匹配的高斯先验？
• RQ3 使用共轭先验是否能为生成参数提供闭式解，从而提升计算效率？
• RQ4 混合参数λ（控制生成与判别组件的平衡）随未标注数据规模的变化如何变化？
• RQ5 在何种条件下，混合模型优于纯生成模型与纯判别模型？

主要发现

• 在所有测试数据集上，采用Beta/二项分布共轭先验的PCP-Beta模型均优于使用高斯先验的PCP-Gauss模型，包括movie和sraa数据集，性能提升最高达+16.8%。
• 在movie数据集上，每类仅10个标注样本时，PCP-Beta达到68.3%的准确率，而PCP-Gauss二项模型为63.4%，相对提升+7.7%。
• 在sraa数据集上，每类仅10个标注样本时，PCP-Beta达到79.1%的准确率，而PCP-Gauss二项模型为67.7%，相对提升+16.8%。
• 最优混合参数λ从0.2（纯监督）增加至0.5（使用1000个未标注样本的半监督设置），表明对未标注数据的依赖程度提高。
• 混合模型的性能对λ值敏感，在movie数据集上观察到双峰曲线，表明不恰当的λ选择可能降低性能。
• 共轭先验使生成参数的闭式解成为可能，消除了原始PCP方法中所需的数值优化。