[论文解读] A Unified View of Multi-Label Performance Measures

Xi-Zhu Wu, Zhi‐Hua Zhou|arXiv (Cornell University)|Sep 1, 2016

Text and Document Classification Technologies参考文献 13被引用 99

一句话总结

本文提出一个统一的基于边距的框架，用于十一多标签性能度量，并提出 LIMO，一种最大边距方法，优化标签级和实例级边距以覆盖各种评估指标。

ABSTRACT

Multi-label classification deals with the problem where each instance is associated with multiple class labels. Because evaluation in multi-label classification is more complicated than single-label setting, a number of performance measures have been proposed. It is noticed that an algorithm usually performs differently on different measures. Therefore, it is important to understand which algorithms perform well on which measure(s) and why. In this paper, we propose a unified margin view to revisit eleven performance measures in multi-label classification. In particular, we define label-wise margin and instance-wise margin, and prove that through maximizing these margins, different corresponding performance measures will be optimized. Based on the defined margins, a max-margin approach called LIMO is designed and empirical results verify our theoretical findings.

研究动机与目标

• 阐明需要理解不同多标签度量之间的关系以及为何算法在它们之间的表现不同。
• 定义一个统一的基于边距的视角（标签级边距和实例级边距），以连接多种性能度量。
• 证明最大化这些边距可以优化不同子集的度量，并设计一个可实践的最大边距学习器（LIMO）来实现。

提出的方法

• 定义标签级边距和实例级边距，以量化多标签预测器 F 的判别能力。
• 在理论上将边距与十一种度量联系起来，包括汉明损失、排序损失、one-error、覆盖、平均精度、宏F1、微F1，以及 AUCs。
• 提出 LIMO，一个线性预测器的最大边距模型，通过具有两组约束的类似凸的目标同时最大化这两种边距。
• 提供基于 SGD 的优化，以实现可扩展训练，具有可选的分离以分别优化任一边距（LIMO-inst 或 LIMO-label）或两者皆优化（LIMO）。
• 展示将预测器 F 转换为分类器 H 的阈值策略，并分析它们对微观/宏观度量的影响。

实验结果

研究问题

• RQ1 在基于边距的视角下，多标签性能度量之间的关系是怎样的？
• RQ2 哪些边距（标签级或实例级）驱动对特定度量的优化？
• RQ3 是否可以通过调整边距让单一方法（LIMO）配置为优化不同的度量？
• RQ4 哪些阈值和优化动态会影响分类与排序性能的权衡？
• RQ5 在合成数据和基准数据上的实验结果是否在多种度量上验证了基于边距的理论？

主要发现

• 标签级边距保证对排名相关度量的优化（ranking loss、one-error、coverage、average precision、instance-AUC）。
• 实例级边距保证对 macro-AUC 的优化，而双效 F 在有足够数据时优化包括 micro-AUC 在内的多项度量。
• LIMO 提供了一个统一的最大边距框架，能根据超参数优化任一边距或两者；阈值影响微观/宏观 F-measures 如文中分析。
• 在合成数据和五个基准数据集上的实验显示，LIMO 在大多数度量上总体排名靠前，LIMO-label 在某些面向排序的指标上表现出色，LIMO-inst 在其他指标上表现出色。
• 研究验证了多样化的多标签度量共享潜在的基于边距的属性，使单一方法能够适应不同的评估目标。