[论文解读] MESA: Boost Ensemble Imbalanced Learning with MEta-SAmpler

Zhining Liu, Pengfei Wei+4 more|arXiv (Cornell University)|Oct 17, 2020

Imbalanced Data Classification Techniques参考文献 42被引用 27

一句话总结

Mesa 提出了一种通用的集成不平衡学习框架，通过强化学习训练的元采样器，在迭代训练轮次中自适应地选择训练样本，直接优化最终模型性能，而非依赖启发式假设。该方法在保持高样本效率和可迁移性的同时，实现了最先进性能，使预训练的元采样器可直接应用于新任务，仅需极少微调。

ABSTRACT

Imbalanced learning (IL), i.e., learning unbiased models from class-imbalanced data, is a challenging problem. Typical IL methods including resampling and reweighting were designed based on some heuristic assumptions. They often suffer from unstable performance, poor applicability, and high computational cost in complex tasks where their assumptions do not hold. In this paper, we introduce a novel ensemble IL framework named MESA. It adaptively resamples the training set in iterations to get multiple classifiers and forms a cascade ensemble model. MESA directly learns the sampling strategy from data to optimize the final metric beyond following random heuristics. Moreover, unlike prevailing meta-learning-based IL solutions, we decouple the model-training and meta-training in MESA by independently train the meta-sampler over task-agnostic meta-data. This makes MESA generally applicable to most of the existing learning models and the meta-sampler can be efficiently applied to new tasks. Extensive experiments on both synthetic and real-world tasks demonstrate the effectiveness, robustness, and transferability of MESA. Our code is available at https://github.com/ZhiningLiu1998/mesa.

研究动机与目标

• 解决传统不平衡学习方法依赖启发式假设所导致的不稳定性、适用性差及计算成本高的问题。
• 克服现有基于元学习的 IL 解决方案与特定模型（如 DNN）共同优化所带来的泛化能力不足的局限。
• 开发一种通用的、与模型无关的框架，将元训练与模型训练解耦，以提升可扩展性与可迁移性。
• 通过使用任务无关的元数据实现跨任务可迁移性，使元采样器能高效部署于新任务，仅需极少再训练。
• 利用强化学习直接优化采样策略以提升最终模型性能，避免依赖误差或密度启发式方法。

提出的方法

• 提出一种级联集成框架，元采样器在每轮迭代中根据当前模型在训练集/验证集上的性能表现（如误差分布）动态选择训练样本。
• 使用强化学习训练元采样器，以最大化最终泛化性能，将采样决策视为序列动作。
• 通过在任务无关的元数据上预训练元采样器，实现元训练与模型训练的解耦，从而在多种学习模型中复用。
• 在强化学习中使用反映最终评估指标（如 F1 分数、AUC）的奖励函数，直接优化下游性能。
• 设计元采样器为与模型无关的形式，可与各类基学习器（如决策树、k-NN、朴素贝叶斯）集成。
• 在元训练中利用跨任务元信息，实现可迁移性：预训练的元采样器可直接应用于新且未见过的任务，仅需极少适应。

实验结果

研究问题

• RQ1 在多样且任务无关的数据上训练的元采样器，能否有效泛化至新的、未见过的不平衡学习任务？
• RQ2 通过强化学习学习采样策略，是否能带来优于基于启发式重采样方法的泛化性能？
• RQ3 将元训练与模型训练解耦，在多大程度上提升了框架在不同机器学习模型上的适用性？
• RQ4 Mesa 在多种真实世界和合成数据集上，与最先进集成及基于元学习的不平衡学习方法相比，性能如何？
• RQ5 元采样器的可迁移性在多大程度上降低了新任务中的元训练成本？

主要发现

• Mesa 在多个真实世界和合成数据集上均达到最先进性能，在 F1 分数和 AUC 指标上均优于基线方法。
• 在 Mammography 数据集上，Mesa 达到 0.874 ± 0.008 的 AUC，显著优于基线（0.840 ± 0.009）及其他所有设置下的基线方法。
• 在小型任务（如 Optical Digits）上训练的元采样器，能良好泛化至更大、更复杂的任务（如 Protein Homo 和 Mammography），当仅使用原始元训练数据的 10% 时，性能仅下降 0.10% 至 0.34%。
• 可迁移性表现稳健：在某一任务上预训练的元采样器在新任务上仍保持强性能，某些情况下可将元训练成本降低高达 90%。
• 该框架展现出高样本效率，即使将元训练数据减少至原始大小的 10%，性能仍保持稳定。
• 消融实验证实，元采样器的自适应采样策略相比随机或启发式采样，能带来更好的泛化性能，尤其在高度不平衡或噪声较大的场景下优势更明显。