[论文解读] Image tag completion by local learning

Jingyan Wang, Yi‐Hua Zhou+4 more|arXiv (Cornell University)|Aug 18, 2015

Advanced Computing and Algorithms参考文献 30被引用 6

一句话总结

该论文提出了一种基于局部学习的图像标签补全方法，通过使用邻域特定的线性函数对标签评分向量进行建模。通过采用交替梯度下降算法联合优化标签评分与局部线性预测器，该方法在Corel5k和IAPR TC12数据集上实现了最先进性能，在召回-精确率和平均平均精度（MAP）方面均优于现有方法。

ABSTRACT

The problem of tag completion is to learn the missing tags of an image. In this paper, we propose to learn a tag scoring vector for each image by local linear learning. A local linear function is used in the neighborhood of each image to predict the tag scoring vectors of its neighboring images. We construct a unified objective function for the learning of both tag scoring vectors and local linear function parame- ters. In the objective, we impose the learned tag scoring vectors to be consistent with the known associations to the tags of each image, and also minimize the prediction error of each local linear function, while reducing the complexity of each local function. The objective function is optimized by an alternate optimization strategy and gradient descent methods in an iterative algorithm. We compare the proposed algorithm against different state-of-the-art tag completion methods, and the results show its advantages.

研究动机与目标

• 解决社交媒体和多媒体应用中图像标签标注不完整的问题。
• 通过基于邻域的线性函数建模图像间的局部关系，提升标签补全性能。
• 同时学习标签评分向量与局部线性函数参数，以增强预测准确性。
• 引入正则化以确保与已知标签的一致性并减少过拟合。
• 开发一种迭代优化框架，通过交替更新标签评分与局部函数参数。

提出的方法

• 为每张图像 $\mathbf{x}_i$ 定义一个标签评分向量 $\mathbf{t}_i \in \mathbb{R}^m$，表示每个标签与该图像的相关性。
• 对于每张图像，学习一个局部线性函数 $f_i(\mathbf{x}_j) = W_i \mathbf{x}_j$，用于预测其 $\kappa$ 个最近邻 $\mathbf{x}_j \in \mathcal{N}_i$ 的 $\mathbf{t}_j$。
• 构建一个统一的目标函数，包含三项：局部线性函数的预测误差、对 $W_i$ 的正则化以降低复杂度，以及通过 $\beta$-正则化损失实现与已知标签的一致性。
• 使用交替优化策略进行优化：通过闭式子梯度更新，迭代地更新 $\mathbf{t}_i$ 和 $W_i$。
• 对 $W_i$ 及预测标签向量与已知标签向量之间的差异施加 $\ell_2$-范数正则化，以提升泛化能力。
• 在存在缺失标签的图像数据集上应用该算法，其中 40% 的标签元素被随机掩码，以模拟现实世界中的不完整性。

实验结果

研究问题

• RQ1 与全局方法相比，基于图像邻域的标签评分向量局部线性建模是否能提升标签补全的准确性？
• RQ2 在不完整标签数据上，联合优化局部线性函数与标签评分对性能有何影响？
• RQ3 正则化项对标签补全模型的鲁棒性与泛化能力有何影响？
• RQ4 在真实场景中，所提方法对超参数 $\alpha$ 和 $\beta$ 的敏感性如何？
• RQ5 该方法能否在具有不同规模和标签密度的多样化图像-标签数据集上实现有效泛化？

主要发现

• 所提出的LocTC方法在Corel5k和IAPR TC12数据集上的平均平均精度（MAP）均达到最高，优于现有最先进方法。
• 在Corel5k数据集上，LocTC的召回-精确率曲线始终更接近右上角，优于TMC、LSR、TCMR和TC-NMF，表明其在精确率与召回率之间具有更优的权衡。
• 在IAPR TC12数据集上，LocTC在所有评估指标上均保持最佳性能，证实其在更大、更复杂数据集上的鲁棒性。
• 参数敏感性曲线显示，该方法在 $\alpha$ 和 $\beta$ 的广泛取值范围内均表现出稳定性能。
• 迭代交替优化策略收敛可靠，梯度下降更新能有效最小化统一目标函数。
• 将基于邻域的局部学习与全局标签一致性正则化相结合，显著提升了性能，优于全局方法或非局部替代方案。