[论文解读] Hybrid Generative/Discriminative Learning for Automatic Image Annotation

Shuang Yang, Jiang Bian+1 more|arXiv (Cornell University)|Mar 15, 2012

Image Retrieval and Classification Techniques参考文献 19被引用 5

一句话总结

本文提出了一种用于自动图像标注的混合生成-判别学习框架，采用指数-多项式混合（EMM）模型，同时捕捉输入和输出的模糊性，并强制预测稀疏化。通过结合变分推断与成对序数回归，该方法提升了标注准确率和标签可扩展性，在基准数据集上优于现有方法。

ABSTRACT

Automatic image annotation (AIA) raises tremendous challenges to machine learning as it requires modeling of data that are both ambiguous in input and output, e.g., images containing multiple objects and labeled with multiple semantic tags. Even more challenging is that the number of candidate tags is usually huge (as large as the vocabulary size) yet each image is only related to a few of them. This paper presents a hybrid generative-discriminative classifier to simultaneously address the extreme data-ambiguity and overfitting-vulnerability issues in tasks such as AIA. Particularly: (1) an Exponential-Multinomial Mixture (EMM) model is established to capture both the input and output ambiguity and in the meanwhile to encourage prediction sparsity; and (2) the prediction ability of the EMM model is explicitly maximized through discriminative learning that integrates variational inference of graphical models and the pairwise formulation of ordinal regression. Experiments show that our approach achieves both superior annotation performance and better tag scalability.

研究动机与目标

• 为解决自动图像标注（AIA）中的双重挑战：图像本身具有模糊性，且每张图像仅适用少数标签。
• 通过概率混合模型同时建模输入（图像特征）与输出（语义标签）的模糊性。
• 利用 EMM 结构强制预测稀疏化，该结构天然倾向于每张图像仅选择少数相关标签。
• 通过变分推断与成对序数回归，将判别学习与生成建模相结合，以提升泛化能力与预测性能。
• 实现对大规模标签词表的有效可扩展性，这是现实世界 AIA 系统中的常见挑战。

提出的方法

• 构建指数-多项式混合（EMM）模型，用于表示图像特征与多个语义标签的联合分布，从而捕捉输入与输出的模糊性。
• EMM 模型引入隐变量以建模图像-标签关系的混合结构，通过偏好每张图像仅激活少量标签，实现稀疏预测。
• 应用变分推断近似难以计算的隐变量后验分布，实现高效训练与推理。
• 通过成对序数回归的公式化方法最大化预测似然，实现判别学习的整合，从而提升分类性能。
• 目标函数结合了生成建模（EMM 似然）与判别优化（成对排序损失），平衡两种目标。

实验结果

研究问题

• RQ1 混合生成-判别模型能否有效建模自动图像标注中输入与输出的模糊性？
• RQ2 在不牺牲分类准确率的前提下，如何在多标签图像标注中强制实现预测稀疏化？
• RQ3 将变分推断与成对序数回归相结合，能否提升标注性能，优于纯生成或纯判别方法？
• RQ4 所提出的基于 EMM 的框架能否在真实世界图像数据集中常见的大规模标签词表上实现有效扩展？
• RQ5 与最先进方法相比，该混合方法在标注准确率与对过拟合的鲁棒性方面表现如何？

主要发现

• 所提方法在标准 AIA 基准测试中，相比基线生成与判别模型，实现了更优的标注性能。
• EMM 模型有效捕捉了输入与输出的模糊性，使在噪声或复杂图像下预测更具鲁棒性。
• EMM 结构天然诱导预测稀疏化，减少了每张图像的无关标签数量。
• 将变分推断与成对序数回归结合，显著提升了判别性能，尤其在数据量较少的情况下。
• 该方法在大规模标签集合上表现出更优的可扩展性，即使在词汇量增大时仍能保持高性能。