[论文解读] Multi-Label Prediction via Compressed Sensing

Daniel Hsu, Sham M. Kakade+2 more|ArXiv.org|Feb 8, 2009

Sparse and Compressive Sensing Techniques参考文献 21被引用 260

一句话总结

该论文提出了一种基于压缩感知的多标签预测方法，适用于大规模输出空间，通过利用标签向量的稀疏性，将多标签学习问题转化为少量二元回归问题，实现了标签数量的对数级缩放，并在存在噪声或模糊标签的情况下仍保持鲁棒性能。

ABSTRACT

We consider multi-label prediction problems with large output spaces under the assumption of output sparsity -- that the target (label) vectors have small support. We develop a general theory for a variant of the popular error correcting output code scheme, using ideas from compressed sensing for exploiting this sparsity. The method can be regarded as a simple reduction from multi-label regression problems to binary regression problems. We show that the number of subproblems need only be logarithmic in the total number of possible labels, making this approach radically more efficient than others. We also state and prove robustness guarantees for this method in the form of regret transform bounds (in general), and also provide a more detailed analysis for the linear prediction setting.

研究动机与目标

• 解决当可能标签数量极大时，传统一对多多标签学习方法存在的计算效率低下问题。
• 利用输出稀疏性——即期望的标签向量仅有少量非零条目——而不依赖于标签层次结构等结构性假设。
• 构建一个通用框架，将多标签预测问题简化为少量二元预测问题，同时保持预测准确性。
• 在线性预测设置下提供关于遗憾和误差的理论保证，以确保对噪声和模型误设的鲁棒性。
• 通过实证结果表明，压缩感知重构算法能够有效从少量压缩测量中恢复稀疏标签向量。

提出的方法

• 使用感知矩阵（例如哈达玛矩阵的随机行）将完整标签向量压缩为低维表示。
• 在压缩后的标签上训练一组二元分类器，每个分类器用于判断输入是否属于特定标签子集。
• 使用稀疏恢复算法（如OMP、FoBa、CoSaMP或Lasso）从预测结果中重构原始稀疏标签向量。
• 应用遗憾变换界，将压缩空间中的误差与原始标签空间中的误差关联起来。
• 将相关性解码（CD）作为基线进行比较，其通过与压缩预测的相关性选择前k个组件。
• 利用压缩感知的理论结果，确保在高概率下，$ O(k \log d) $ 个测量值足以恢复一个 $ k $-稀疏标签向量。

实验结果

研究问题

• RQ1 压缩感知能否有效应用于大规模输出空间的多标签预测问题？
• RQ2 通过压缩感知将多标签学习简化为少量二元问题，是否能在预测准确性上保持或优于标准方法？
• RQ3 在不同压缩率和稀疏度下，不同稀疏恢复算法（如OMP、CoSaMP、Lasso）的性能表现如何比较？
• RQ4 感知矩阵的选择（哈达玛矩阵 vs. 高斯矩阵）对重构准确性和鲁棒性有何影响？
• RQ5 从压缩感知推导出的理论遗憾界在真实数据集中的实际性能提升程度如何？

主要发现

• 即使完整标签空间包含 $ d = 1024 $ 个标签，该方法仅使用 $ m = 300 $ 或 $ 400 $ 个子问题，其性能仍可与一对多学习方法相媲美。
• 在图像和文本数据集上，随着子问题数量 $ m $ 增加，重构标签向量的均方误差均呈下降趋势，且当 $ m = 400 $ 时达到近似最优性能。
• 当 $ k = 10 $ 时，所提方法在 $ m = 300 $ 时的 $ k $-精度与一对多基线方法在 $ m = 1024 $ 时几乎完全一致，表明其具有出色的恢复准确性。
• 当 $ m $ 较小时（如100），OMP和FoBa因避免选择相关列而表现欠佳，而CoSaMP和Lasso因能选择相关特征而表现更优。
• 基于Lasso的路径追踪算法（LARS）表现具有竞争力，并在不同稀疏度和压缩率下均表现出鲁棒性。
• 随着稀疏度 $ k $ 增加，图像数据的均方误差衰减速率约为 $ k^{-0.5} $，文本数据约为 $ k^{-0.55} $，表明其为次多项式但非平凡的衰减，与中等稀疏度一致。