[论文解读] Learning Deep Latent Spaces for Multi-Label Classification

Chih‐Kuan Yeh, Wei-Chieh Wu+2 more|arXiv (Cornell University)|Jul 3, 2017

Text and Document Classification Technologies参考文献 18被引用 52

一句话总结

C2AE 将深度典型相关分析（Deep Canonical Correlation Analysis）与自编码器结合，学习一个对特征敏感的潜在空间，用于联合特征/标签嵌入和考虑标签相关性的预测，并对缺失标签具有鲁棒性。

ABSTRACT

Multi-label classification is a practical yet challenging task in machine learning related fields, since it requires the prediction of more than one label category for each input instance. We propose a novel deep neural networks (DNN) based model, Canonical Correlated AutoEncoder (C2AE), for solving this task. Aiming at better relating feature and label domain data for improved classification, we uniquely perform joint feature and label embedding by deriving a deep latent space, followed by the introduction of label-correlation sensitive loss function for recovering the predicted label outputs. Our C2AE is achieved by integrating the DNN architectures of canonical correlation analysis and autoencoder, which allows end-to-end learning and prediction with the ability to exploit label dependency. Moreover, our C2AE can be easily extended to address the learning problem with missing labels. Our experiments on multiple datasets with different scales confirm the effectiveness and robustness of our proposed method, which is shown to perform favorably against state-of-the-art methods for multi-label classification.

研究动机与目标

• 激发并解决在真实世界数据中为每个实例预测多标签的挑战。
• 提出一个深度学习框架，在一个共同的潜在空间中联合学习特征和标签的嵌入。
• 引入一个考虑标签相关性的损失，在解码阶段利用跨标签依赖。
• 将模型扩展到处理带缺失标签的训练数据而不显著降低性能。

提出的方法

• 提出 Canonical-Correlated Autoencoder（C2AE），将 Deep Canonical Correlation Analysis（DCCA）与自编码器结合。
• 通过优化联合损失来学习共享潜在空间 L：Phi(Fx,Fe) 用于特征/标签嵌入，Gamma(Fe,Fd) 用于标签输出恢复。
• Phi 在 L 中强制 Fx(X) 与 Fe(Y) 的对齐，带有正交性约束以模拟 CCA（F_x(X)F_x(X)^T = F_e(Y)F_e(Y)^T = I）。
• Gamma 实现一个考虑标签相关性的解码损失，比较正标签对与负标签对以保持标签共现。
• 通过使用已知的正/负对来计算 Gamma，并进行预处理以屏蔽缺失标签，扩展到缺失标签。
• 通过梯度下降端到端优化更新 Fx、Fe 和 Fd。

实验结果

研究问题

• RQ1 C2AE 是否在标准多标签数据集上超越最先进的标签嵌入和基于 DNN 的方法？
• RQ2 将特征与标签绑定的深层潜在空间引入，是否通过利用标签依赖性来提高预测准确性？
• RQ3 C2AE 是否能够在缺失标签的情况下不显著下降地保持性能？
• RQ4 潜在空间维度相对于标签空间的大小如何影响性能？

主要发现

• C2AE 在多个数据集上对比标签嵌入基线取得较好性能，利用非线性特征/标签嵌入和标签依赖。
• 在 NUS-WIDE 数据集上，C2AE 在基于 DNN 的方法中获得最佳的 Macro-F1 和 Micro-F1，Macro-F1 为 48.6，Micro-F1 为 67.6。
• C2AE 在逐类和总体指标上均显著超越 CNN-WARP、CNN-RNN、DNN-BCE 和 BP-MLL。
• 相较其他 DNN 方法，C2AE 的训练更高效（在 NUS-WIDE 上使用 Titan X GPU 约 10–15 分钟）。
• 在缺失标签场景下，C2AE 仍然鲁棒，跨越不同缺失率水平，优于 LEML、MLML 和 ML-MG。