[论文解读] Learning Hypergraph-regularized Attribute Predictors

Sheng Huang, Mohamed Elhoseiny+2 more|arXiv (Cornell University)|Mar 19, 2015

Domain Adaptation and Few-Shot Learning参考文献 3被引用 16

一句话总结

本文提出了一种基于超图的属性预测器（HAP），这是一种新颖的框架，将属性预测建模为正则化超图划分问题，以联合学习相关联的属性预测器并整合类别标签信息。通过将特征空间与嵌入在超图中的属性空间对齐，HAP 在 AWA、USAA 和 CUB 数据集上的零样本学习、N样本学习以及全数据分类任务中均取得了最先进性能，其中 CSHAP G 变体通过有效整合类别级监督展现出更优性能。

ABSTRACT

We present a novel attribute learning framework named Hypergraph-based Attribute Predictor (HAP). In HAP, a hypergraph is leveraged to depict the attribute relations in the data. Then the attribute prediction problem is casted as a regularized hypergraph cut problem in which HAP jointly learns a collection of attribute projections from the feature space to a hypergraph embedding space aligned with the attribute space. The learned projections directly act as attribute classifiers (linear and kernelized). This formulation leads to a very efficient approach. By considering our model as a multi-graph cut task, our framework can flexibly incorporate other available information, in particular class label. We apply our approach to attribute prediction, Zero-shot and $N$-shot learning tasks. The results on AWA, USAA and CUB databases demonstrate the value of our methods in comparison with the state-of-the-art approaches.

研究动机与目标

• 解决独立属性学习方法忽略属性之间相关性的局限性。
• 将类别标签信息整合到属性学习中，以提升下游任务（如零样本和 N 样本学习）中的泛化能力。
• 开发一种高效、端到端的框架，联合优化属性预测器，同时保持自然的数据聚类结构。
• 将属性关系建模为超图中的超边，以捕捉高阶相关性并提升预测性能。
• 证明超图正则化在提升多个基准测试中属性预测和分类准确率方面的有效性。

提出的方法

• 将属性预测建模为有监督的超图划分问题，其中每条超边代表一组共享相同属性标签的样本。
• 定义一个与语义属性空间对齐的超图嵌入空间，通过联合优化超图划分实现。
• 学习从输入特征空间到超图嵌入空间的映射，该映射可作为线性或核化的属性预测器。
• 通过惩罚图或超图整合类别标签信息，以指导类内结构的学习。
• 使用核化方法（高斯核与柯西核）将模型扩展至非线性特征空间。
• 通过矩阵求逆求解优化问题，训练复杂度为 O(nmd) 或 O(d³)，测试复杂度为 O(d)，实现快速推理。

实验结果

研究问题

• RQ1 通过超图划分建模属性相关性是否能提升属性预测和下游分类性能？
• RQ2 在属性学习过程中整合类别标签信息是否能提升零样本和少样本学习中的泛化能力？
• RQ3 所提出的 HAP 框架在多种数据集上的准确率和鲁棒性方面与最先进方法相比如何？
• RQ4 HAP 的核化变体在具有非线性特征分布的数据集上性能提升程度如何？
• RQ5 对于零样本学习和分类等任务，保持属性相关性是否比去相关化更有益？

主要发现

• 在 CUB 数据集上，HAP 使用 CSHAP G 变体配合最近邻分类器取得了 26.1% 的准确率，优于其他方法。
• 在 USAA 数据集上，CSHAP G 在全数据分类任务中达到 50.9% 的准确率，证明了类别级监督整合的有效性。
• 在零样本学习中，高斯核将 HAP 在 USAA 上的准确率从 44.1% 提升至 46.3%，将 CSHAP H 的准确率从 45.3% 提升至 48.2%。
• 由于 CUB 数据集中深度特征具有线性特性，HAP 的核化变体性能有所下降（准确率降至 15.5–16.5%）。
• HAP 在 CUB 上训练了 312 个属性预测器，耗时 23.33 秒，且在 0.14 秒内完成所有测试样本的预测，表明其推理效率极高。
• 在 N 样本学习中，CSHAP G 变体始终优于其他方法，因其通过类别标签整合更有效地捕捉了类内流形结构。