[论文解读] A Comparative Evaluation of Quantification Methods

Tobias Schumacher, Markus Strohmaier+1 more|arXiv (Cornell University)|Mar 4, 2021

Imbalanced Data Classification Techniques参考文献 28被引用 4

一句话总结

本文对 24 种量化方法在 40 个数据集上进行了全面的实证评估，比较了在不同分布偏移和训练集大小下的二元与多分类设置。在二元量化中，Median Sweep、TSMax、DyS 和 Friedman 方法表现最佳；在多分类设置中，Generalized Probabilistic Adjusted Count、readme、能量距离最小化、用于量化的 EM 算法以及 Friedman 方法表现优异，多分类性能显著劣于二元设置，原因在于其固有的复杂性。

ABSTRACT

Quantification represents the problem of estimating the distribution of class labels on unseen data. It also represents a growing research field in supervised machine learning, for which a large variety of different algorithms has been proposed in recent years. However, a comprehensive empirical comparison of quantification methods that supports algorithm selection is not available yet. In this work, we close this research gap by conducting a thorough empirical performance comparison of 24 different quantification methods on overall more than 40 data sets, considering binary as well as multiclass quantification settings. We observe that no single algorithm generally outperforms all competitors, but identify a group of methods including the threshold selection-based Median Sweep and TSMax methods, the DyS framework including the HDy method, Forman's mixture model, and Friedman's method that performs best in the binary setting. For the multiclass setting, we observe that a different, broad group of algorithms yields good performance, including the HDx method, the Generalized Probabilistic Adjusted Count, the readme method, the energy distance minimization method, the EM algorithm for quantification, and Friedman's method. We also find that tuning the underlying classifiers has in most cases only a limited impact on the quantification performance. More generally, we find that the performance on multiclass quantification is inferior to the results obtained in the binary setting. Our results can guide practitioners who intend to apply quantification algorithms and help researchers to identify opportunities for future research.

研究动机与目标

• 为解决机器学习中量化方法缺乏全面、实证比较的问题。
• 评估 24 种最先进量化算法在多样化数据集和设置（包括二元和多分类量化）下的性能。
• 研究训练数据与测试数据之间分布偏移、训练集大小以及分类器超参数调优对量化性能的影响。
• 识别出适合实际部署的稳健、通用的量化方法。
• 指明研究空白，特别是多分类量化表现不佳以及分类器调优收益有限的问题。

提出的方法

• 本研究评估了 24 种量化方法，包括基于阈值的方法（Median Sweep、TSMax）、分布匹配方法（DyS、能量距离）、概率调整方法（Generalized Probabilistic Adjusted Count）以及迭代算法（用于量化的 EM 算法、readme）。
• 实验在 40 个数据集上进行，涵盖二元和多分类设置，并对训练数据与测试数据之间的分布偏移进行了控制。
• 性能在不同训练集大小下进行评估，并进行多次采样迭代（每次实验 10 次），总计超过 500 万次算法运行。
• 由于计算资源限制，对部分数据集单独评估了分类器超参数调优的影响，以分析其对量化准确率的影响。
• 在 LeQua 挑战数据集上开展案例研究，以在拥有大量验证数据的真实场景中验证研究发现。
• 采用统计显著性检验比较方法性能，报告了平均排名和效应量。

实验结果

研究问题

• RQ1 在不同分布偏移和训练集大小下，哪些量化方法在二元和多分类设置中始终表现更优？
• RQ2 调优底层基础分类器对量化算法性能有何影响？
• RQ3 多分类量化问题为何仍比二元情况更具挑战性，程度如何？
• RQ4 即使经过优化，基于分类-计数原理的方法与专用量化框架相比，是否仍具备竞争力？
• RQ5 主实验的发现对现实世界应用的可推广性如何？通过 LeQua 挑战数据集的案例研究予以验证。

主要发现

• 在二元设置中，Median Sweep、TSMax、DyS 和 Friedman 方法始终位列前茅，且与其它方法相比具有统计显著的优越性。
• 在多分类设置中，Generalized Probabilistic Adjusted Count、readme、能量距离最小化、用于量化的 EM 算法以及 Friedman 方法的平均性能显著优于其他方法。
• 多分类量化性能显著劣于二元量化，误差分数高出数倍，表明该问题更困难，亟需更多研究关注。
• 调优底层基础分类器的超参数对最终量化性能的影响有限，无论在二元还是多分类设置中均如此。
• 即使基础分类器针对量化进行了优化，基于分类-计数原理的方法平均表现仍劣于专用框架，表明该方法存在固有局限性。
• 在 LeQua 挑战数据集上的案例研究验证了主实验中观察到的一般趋势，证实了研究发现可在多样化真实场景中稳健适用。