[论文解读] Unsupervised Fusion Weight Learning in Multiple Classifier Systems

Anurag Kumar, Bhiksha Raj|arXiv (Cornell University)|Feb 6, 2015

Machine Learning and Data Classification参考文献 15被引用 6

一句话总结

本文提出了一种无监督、实例特定的融合权重学习方法，用于多分类器系统，该方法直接在未标记的测试数据上优化清晰度指数，从而无需依赖保留的验证集。该方法在平均融合的基础上提升了排序性能，并对噪声分类器具有鲁棒性，在某些花卉类别上实现了高达9%的平均精度绝对提升。

ABSTRACT

In this paper we present an unsupervised method to learn the weights with which the scores of multiple classifiers must be combined in classifier fusion settings. We also introduce a novel metric for ranking instances based on an index which depends upon the rank of weighted scores of test points among the weighted scores of training points. We show that the optimized index can be used for computing measures such as average precision. Unlike most classifier fusion methods where a single weight is learned to weigh all examples our method learns instance-specific weights. The problem is formulated as learning the weight which maximizes a clarity index; subsequently the index itself and the learned weights both are used separately to rank all the test points. Our method gives an unsupervised method of optimizing performance on actual test data, unlike the well known stacking-based methods where optimization is done over a labeled training set. Moreover, we show that our method is tolerant to noisy classifiers and can be used for selecting N-best classifiers.

研究动机与目标

• 开发一种无监督方法，用于在无需标记验证数据的情况下学习多分类器系统中的实例特定融合权重。
• 解决在保留的标记数据上优化融合权重所导致的泛化差距问题，因为此类数据可能无法反映实际测试数据的行为。
• 通过动态识别每个测试实例中最可靠的分类器，实现对N个最佳分类器的鲁棒选择。
• 提出一种基于双部排序损失的新清晰度指数，可无监督地对测试实例和融合权重进行排序。
• 证明在实际测试实例上进行无监督优化，相比传统的堆叠或平均方法，能获得更好的性能。

提出的方法

• 该方法将融合权重学习表述为最大化原始清晰度指数（RCL），该指数基于加权分类器得分衡量相关与无关实例之间的分离程度。
• 采用改进的双部排序损失，结合相关性损失与无关性损失，以计算清晰度指数，该指数通过仅使用其分类器得分和训练集输出，对每个测试实例进行优化。
• 通过基于梯度的清晰度指数优化学习实例特定权重，从而在优化过程中无需使用标记数据。
• 将优化后的清晰度指数本身用作测试实例的排序得分，为加权和评分提供替代方案。
• 该方法支持完整融合（所有分类器）和N个最佳融合（选择性分类器组合），从而实现对噪声的容忍。
• 该方法将单个分类器训练视为黑箱，仅需分类器得分具有一致的排序语义（分数越高，排名越靠前）。

实验结果

研究问题

• RQ1 是否可以在无需标记验证数据的情况下学习实例特定的融合权重，从而提升对实际测试实例的泛化能力？
• RQ2 在未标记的测试数据上优化清晰度指数，是否能带来优于传统平均法或基于堆叠的融合方法的性能？
• RQ3 所提出的方法能否有效实现每个实例的N个最佳分类器选择，从而提升对噪声或不可靠分类器的鲁棒性？
• RQ4 在缺乏真实标签的情况下，清晰度指数是否为排序测试实例的有效且可靠的度量？
• RQ5 当部分分类器被破坏时，该方法在不同水平的分类器噪声下表现如何，特别是当某些分类器被污染时？

主要发现

• 所提方法在不同数据集上对‘Pansy’花卉类别实现了高达9%的平均精度（AP）绝对提升，显著优于平均融合方法。
• 在N个最佳融合策略下，当三个分类器被破坏时，N个最佳分类器的加权平均（N-BEST W.AVG）达到89.82%的MAP，而平均融合仅为85.73%，性能下降了4.03%，显示出更强的鲁棒性。
• 当四个分类器被破坏时，N-BEST W.AVG保持在82.70%的MAP，而平均融合下降至81.20%，进一步证明了其对噪声的优越鲁棒性。
• 清晰度指数（RCL）在实例排序方面优于标准加权和评分方法，在多个花卉类别中实现了2–5%的AP绝对提升。
• 该方法对噪声分类器表现出强鲁棒性，即使多达40%的分类器退化，性能仍能保持稳定，凸显其在存在不可靠模型的实际场景中的实用性。
• 该算法收敛至在给定训练数据和测试得分向量下可能达到的最佳清晰度，表明在所定义目标下具有理论上的稳定性和最优性。