[论文解读] Large-scale Multi-label Learning with Missing Labels

Hsiang‐Fu Yu, Prateek Jain+2 more|arXiv (Cornell University)|Jul 18, 2013

Text and Document Classification Technologies参考文献 23被引用 369

一句话总结

该论文提出了一种可扩展的基于经验风险最小化的框架，用于大规模多标签学习中的缺失标签问题，采用低秩矩阵建模与迹范数正则化。在Wikipedia等基准数据集上实现了最先进性能，通过共轭梯度法与交替最小化实现高效优化，并在标签随机缺失的假设下提供了紧致的理论过剩风险界。

ABSTRACT

The multi-label classification problem has generated significant interest in recent years. However, existing approaches do not adequately address two key challenges: (a) the ability to tackle problems with a large number (say millions) of labels, and (b) the ability to handle data with missing labels. In this paper, we directly address both these problems by studying the multi-label problem in a generic empirical risk minimization (ERM) framework. Our framework, despite being simple, is surprisingly able to encompass several recent label-compression based methods which can be derived as special cases of our method. To optimize the ERM problem, we develop techniques that exploit the structure of specific loss functions - such as the squared loss function - to offer efficient algorithms. We further show that our learning framework admits formal excess risk bounds even in the presence of missing labels. Our risk bounds are tight and demonstrate better generalization performance for low-rank promoting trace-norm regularization when compared to (rank insensitive) Frobenius norm regularization. Finally, we present extensive empirical results on a variety of benchmark datasets and show that our methods perform significantly better than existing label compression based methods and can scale up to very large datasets such as the Wikipedia dataset.

研究动机与目标

• 解决大规模标签空间（高达数百万个标签）与多标签学习中缺失标签的双重挑战。
• 开发一个统一且灵活的框架，可将现有标签压缩方法作为特例包含在内。
• 设计可扩展至大规模数据集（如Wikipedia）的高效优化算法。
• 即使标签部分缺失，也提供形式化的泛化保证（过剩风险界）。
• 在多样化基准数据集上，通过实证结果证明其在性能上优于现有标签压缩与多标签方法。

提出的方法

• 将多标签学习建模为经验风险最小化（ERM）问题，采用低秩线性模型 $ Z \in \mathbb{R}^{d \times L} $，其中预测结果为 $ \mathbf{y}^{\text{pred}} = Z^T \mathbf{x} $。
• 使用迹范数正则化以促进低秩解，提升泛化能力，尤其在标签稀疏时表现更优。
• 采用交替最小化与共轭梯度法优化具有结构化损失函数的非凸ERM问题。
• 推导出平方 $ L_2 $ 损失情况下的闭式解，表明其与Chen & Lin（2012）提出的CPLST方法为特例。
• 通过假设标签均匀随机观测，将框架扩展至处理缺失标签问题，借助随机矩阵理论实现理论分析。
• 设计一种可扩展算法，其速度比直接计算快 $ O(\bar{d}) $ 倍，其中 $ \bar{d} $ 为每条样本的平均非零特征数。

实验结果

研究问题

• RQ1 统一的ERM框架能否有效处理多标签学习中大规模标签空间与缺失标签的双重问题？
• RQ2 在标签稀疏条件下，迹范数正则化与Frobenius范数正则化在泛化性能上表现如何比较？
• RQ3 所提出的框架能否在包含缺失标签的大规模数据集（如Wikipedia）上实现最先进性能？
• RQ4 在标签随机缺失的假设下，迹范数正则化的ERM公式的理论过剩风险界是什么？
• RQ5 优化算法的效率如何随数据规模与稀疏性而变化？

主要发现

• 所提方法在基准数据集（包括标签数超过10万个的Wikipedia数据集）上显著优于现有标签压缩方法。
• 在bibtex数据集（50%标签缺失）上，采用平方合页损失时，该方法平均AUC达到0.8724，优于基线方法。
• 在autofood数据集（40%标签稀疏）上，采用逻辑损失时，该方法平均AUC达到0.9260，超越所有基线方法。
• 理论分析表明，对于服从各向同性数据分布的情况，迹范数正则化可获得比Frobenius范数正则化更紧致的过剩风险界。
• 优化算法比直接计算快 $ O(\bar{d}) $ 倍，从而实现对大规模稀疏数据集的高效扩展。
• 该框架可将现有标签压缩方法（如CPLST）作为特例推广，尤其在平方 $ L_2 $ 损失下。