[论文解读] Probabilistic Active Learning for Active Class Selection

Daniel Kottke, Georg Krempl+7 more|arXiv (Cornell University)|Aug 9, 2021

Machine Learning and Algorithms参考文献 13被引用 5

一句话总结

该论文提出 PAL-ACS，一种新颖的主动类别选择算法，通过生成伪实例来估计每种类别的预期性能提升，将类别选择问题转化为主动学习问题。通过利用概率主动学习中的性能增益函数，PAL-ACS 动态优先从困难类别中采样，在分类准确率方面优于当前最先进的 ACS 方法，尤其在类别复杂度差异显著的数据集上表现更优。

ABSTRACT

In machine learning, active class selection (ACS) algorithms aim to actively select a class and ask the oracle to provide an instance for that class to optimize a classifier's performance while minimizing the number of requests. In this paper, we propose a new algorithm (PAL-ACS) that transforms the ACS problem into an active learning task by introducing pseudo instances. These are used to estimate the usefulness of an upcoming instance for each class using the performance gain model from probabilistic active learning. Our experimental evaluation (on synthetic and real data) shows the advantages of our algorithm compared to state-of-the-art algorithms. It effectively prefers the sampling of difficult classes and thereby improves the classification performance.

研究动机与目标

• 解决主动类别选择（ACS）中类别采样效率低下的挑战，其中类别难度各异，传统方法无法自适应调整。
• 克服现有 ACS 方法缺乏检测和优先处理困难类别机制的局限性，通常导致性能欠佳。
• 开发一种方法，基于预期性能提升动态识别并从最具信息量的类别中采样。
• 通过使用合成实例将 ACS 转化为伪主动学习问题，实现在最小标注成本下的有效学习。
• 确保在具有不同类别复杂度的数据集上具备鲁棒性，包括所有类别难度均等的情况。

提出的方法

• 通过为每种类别生成伪实例，将主动类别选择（ACS）问题转化为主动学习任务。
• 利用概率主动学习中的性能增益函数，估计为每种类别获取新实例的预期效用。
• 选择预期性能增益最高的类别作为下一轮标注的目标。
• 迭代重复该过程直至标注预算耗尽，并在每次新增实例后更新分类器。
• 利用高斯核生成伪实例，实现对类别层面不确定性和难度的概率建模。
• 整合性能增益模型，量化获取每种类别新实例后分类器准确率的预期提升。

实验结果

研究问题

• RQ1 能否通过估计从不同类别获取实例的效用，将概率主动学习框架适配以解决主动类别选择问题？
• RQ2 与当前最先进的 ACS 算法相比，所提出的 PAL-ACS 方法在分类性能和样本效率方面表现如何？
• RQ3 PAL-ACS 是否能有效识别并优先处理困难类别，尤其是在类别复杂度存在差异的情况下？
• RQ4 在所有类别难度均等的数据集上，PAL-ACS 的表现如何？是否与随机采样相当或更优？
• RQ5 与基线方法（如 Inverse 和 Redistricting）相比，使用伪实例在多大程度上提升了类别选择的准确率和鲁棒性？

主要发现

• 在类别复杂度非均匀的数据集（如 3Clusters 和 Spirals）上，PAL-ACS 显著优于 Inverse 和 Redistricting 方法，平均误差分别为 0.3617，而后者分别为 0.3731 和 0.3840。
• 在 Bars 数据集上，由于数据结构非高斯分布，PAL-ACS 在早期学习阶段表现略弱，但最终收敛至优异结果，表明其对数据分布具有敏感性。
• 在 3Clusters 和 Spirals 数据集上，PAL-ACS 显著增加了对困难类别的采样比例（分别为 41% 和 46%），而 Inverse 和 Redistricting 方法的优先级分配较弱。
• 在 Vehicle 数据集上，所有类别难度相等，PAL-ACS 收敛至均匀采样分布（每类 25%），性能与随机采样相当，并优于 Inverse 和 Redistricting 方法。
• 在 Vertebral 和 Yeast 数据集上，PAL-ACS 正确识别了类别难度，从而实现性能提升，并在最终采样比例中持续优先采样更难类别。
• 该方法在多个学习阶段均展现出鲁棒性，尤其在类别难度差异显著的数据集中，赢得了最多试验次数。