[论文解读] Matrix Co-completion for Multi-label Classification with Missing Features and Labels

Miao Xu, Gang Niu+4 more|arXiv (Cornell University)|May 23, 2018

Sparse and Compressive Sensing Techniques参考文献 1被引用 10

一句话总结

该论文提出了一种名为Co-completion（COCO）的矩阵协同补全方法，用于处理具有缺失特征和标签的多标签分类问题。COCO通过非线性Sigmoid变换将潜在低秩矩阵Z的值映射为标签概率，假设[X; Z]为低秩矩阵，并使用带弹性网络正则化的次梯度下降法，联合恢复特征和标签。COCO在合成数据和真实世界数据（包括CAL500数据集）上均实现了最先进的恢复与泛化性能。

ABSTRACT

We consider a challenging multi-label classification problem where both feature matrix $\X$ and label matrix $\Y$ have missing entries. An existing method concatenated $\X$ and $\Y$ as $[\X; \Y]$ and applied a matrix completion (MC) method to fill the missing entries, under the assumption that $[\X; \Y]$ is of low-rank. However, since entries of $\Y$ take binary values in the multi-label setting, it is unlikely that $\Y$ is of low-rank. Moreover, such assumption implies a linear relationship between $\X$ and $\Y$ which may not hold in practice. In this paper, we consider a latent matrix $\Z$ that produces the probability $σ(Z_{ij})$ of generating label $Y_{ij}$, where $σ(\cdot)$ is nonlinear. Considering label correlation, we assume $[\X; \Z]$ is of low-rank, and propose an MC algorithm based on subgradient descent named co-completion (COCO) motivated by elastic net and one-bit MC. We give a theoretical bound on the recovery effect of COCO and demonstrate its practical usefulness through experiments.

研究动机与目标

• 解决现有矩阵补全方法假设标签矩阵Y为低秩的局限性，因为二值标签条目使得该假设不切实际。
• 克服特征与标签之间线性关系的假设，该假设在真实世界的多标签数据中可能不成立。
• 提出一种有监督的联合恢复框架，利用标签信息提升特征矩阵的补全效果。
• 提出一种通过潜在矩阵Z建模标签相关性的方法，其中Y_ij通过σ(Z_ij)概率生成，确保非线性与现实性。
• 在合成数据和真实世界数据上，实现优于现有方法的恢复性能与下游分类性能。

提出的方法

• 引入一个潜在矩阵Z ∈ ℝ^{n×l}，通过Sigmoid函数生成标签概率：P(Y_ij = 1) = σ(Z_ij) = 1 / (1 + exp(-Z_ij))。
• 假设拼接矩阵[X; Z]近似为低秩，以捕捉特征与潜在标签表示之间的共享结构。
• 基于次梯度下降法构建矩阵协同补全目标，受弹性网络和一位矩阵补全的启发，通过Z联合恢复X和Y。
• 采用非凸、非光滑的优化目标，同时引入低秩与稀疏性诱导惩罚，以增强鲁棒性与泛化能力。
• 在次梯度下降中采用衰减学习率调度策略，以确保优化过程的收敛性。
• 通过将Z建模为低秩矩阵，整合标签相关性，使方法能够捕捉多个标签之间的依赖关系。

实验结果

研究问题

• RQ1 通过非线性函数生成标签概率的潜在矩阵Z，是否能优于直接补全[X; Y]的协同补全方法？
• RQ2 假设[X; Z]为低秩，是否能比假设Y为低秩带来更好的特征与标签恢复效果？
• RQ3 利用标签信息进行联合恢复，是否能超越无监督方法，提升特征补全性能？
• RQ4 与Maxide和Mc等现有方法相比，COCO在恢复误差与下游分类准确率方面表现如何？
• RQ5 所提出的COCO算法具有怎样的理论恢复保证？

主要发现

• 在合成数据上，COCO在X和Y的恢复误差上均达到最低，当n=5000, d=500, l=100, r=20, ω=20时，X误差为0.0143±0.0001，Y误差为0.0146±0.0002。
• 在CAL500数据集上，COCO实现了最佳恢复性能，X误差为0.6477±0.0336，Y误差为0.1025±0.0004，优于Maxide和Mc。
• 在恢复数据上进行训练后，COCO在神经网络上达到最低测试误差0.1469±0.0041，在LIMO上为0.1513±0.0068，接近0.1369±0.0020的基准最优值。
• 如图2所示，COCO的恢复误差随迭代次数减少，表明优化过程具有稳定的收敛性。
• 理论分析为COCO提供了恢复误差界，支持其在所提假设下的鲁棒性与收敛性。
• COCO在恢复与泛化性能上显著优于Maxide和Mc，证明了通过潜在矩阵Z建模标签相关性的有效性。