[论文解读] LNEMLC: Label Network Embeddings for Multi-Label Classification

Piotr Szymański, Tomasz Kajdanowicz+1 more|arXiv (Cornell University)|Dec 7, 2018

Text and Document Classification Technologies被引用 3

一句话总结

LNEMLC 提出了一种低复杂度的多标签分类框架，通过使用最先进的网络嵌入技术（例如 LINE）对标签网络进行嵌入，以增强特征空间的表示。通过将标签关系整合到学习到的嵌入表示的输入空间中，LNEMLC 改进了泛化能力和联合标签概率估计，在显著优于 kNN 基线的同时，计算成本低于现有基于嵌入的方法，实现了最先进性能。

ABSTRACT

Multi-label classification aims to classify instances with discrete non-exclusive labels. Most approaches on multi-label classification focus on effective adaptation or transformation of existing binary and multi-class learning approaches but fail in modelling the joint probability of labels or do not preserve generalization abilities for unseen label combinations. To address these issues we propose a new multi-label classification scheme, LNEMLC - Label Network Embedding for Multi-Label Classification, that embeds the label network and uses it to extend input space in learning and inference of any base multi-label classifier. The approach allows capturing of labels' joint probability at low computational complexity providing results comparable to the best methods reported in the literature. We demonstrate how the method reveals statistically significant improvements over the simple kNN baseline classifier. We also provide hints for selecting the robust configuration that works satisfactorily across data domains.

研究动机与目标

• 解决现有低复杂度多标签方法在建模联合标签概率和保持对未见标签组合泛化能力方面的不足。
• 通过将标签网络结构作为关系信息来源，提升多标签分类性能。
• 开发一种通用框架，通过在输入空间中扩展标签网络嵌入，增强任意基础多标签分类器的性能。
• 与现有问题转换方法和基于嵌入的方法相比，降低计算复杂度，同时保持高准确率。
• 提供在多种数据领域中表现稳健的默认超参数配置，无需大量调参。

提出的方法

• 从训练样本中标签共现统计构建标签网络，其中节点代表标签，边代表共现频率。
• 应用网络嵌入算法（例如 LINE、node2vec、M-NMF）将每个标签映射到低维空间（d维嵌入空间）中的稠密向量。
• 通过将每个实例的所有标签嵌入向量与原始特征拼接，扩展输入特征空间。
• 使用回归器（例如 kNN、随机森林）基于输入特征预测新实例的嵌入标签向量。
• 通过逐元素相加（或其他聚合函数）对每个实例的标签嵌入进行聚合，形成复合表示。
• 采用联合推理机制，同时预测所有嵌入维度，以有效建模标签依赖关系。

实验结果

研究问题

• RQ1 通过捕捉联合标签依赖关系，标签网络嵌入是否能提升多标签分类器的泛化性能？
• RQ2 将标签网络结构整合到输入空间是否能带来相对于简单 kNN 基线的统计显著改进？
• RQ3 不同网络嵌入方法（例如 LINE、node2vec、M-NMF）对 LNEMLC 框架性能的影响如何？
• RQ4 哪些超参数配置（嵌入维度、聚合函数、网络加权）能在多样化的数据集中实现稳健且高性能的结果？
• RQ5 LNEMLC 是否能在显著低于现有基于嵌入的多标签方法计算复杂度的前提下，实现最先进性能？

主要发现

• 在所有基准数据集上，使用精确 LINE 嵌入的 LNEMLC 在所有评估指标中排名第一，优于当前最先进方法。
• 使用随机森林回归在 LINE 嵌入上的 LNEMLC 实现了顶级性能，同时训练和推理时间显著低于最佳现有方法 CLEMS。
• 该方法在需要联合概率估计的指标上，相对于 kNN 基线分类器实现了统计显著的改进。
• 表现最佳的配置使用无权重或加权标签网络，嵌入维度设置为最接近 5l 的 2 的幂（例如，当 l=500 时，d=4096），优于较小或非 2 的幂的维度。
• 通过逐元素相加聚合标签嵌入可实现一致的性能提升，并在不同嵌入方法和数据集上均表现出鲁棒性。
• 所提出的默认配置——使用包含一阶和二阶邻近性的 LINE 嵌入、维度 d ≈ 5l，以及基于加法的聚合——在无需领域特定超参数调优的情况下即实现了强劲性能。