[论文解读] Balanced Product of Calibrated Experts for Long-Tailed Recognition

Emanuel Sanchez Aimar, Arvi Jonnarth+2 more|arXiv (Cornell University)|Jun 10, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出平衡校准专家乘积（BalPoE），一种理论基础坚实的长尾识别集成方法，通过 logits 调整结合多样化、校准的专家，确保在平衡误差下具有 Fisher 一致性。通过使用 mixup 校准专家并强制在目标分布上施加偏差约束，BalPoE 在 CIFAR-100-LT、ImageNet-LT 和 iNaturalist-2018 上实现最先进性能，使用七个专家时 top-1 准确率达 57%。

ABSTRACT

Many real-world recognition problems are characterized by long-tailed label distributions. These distributions make representation learning highly challenging due to limited generalization over the tail classes. If the test distribution differs from the training distribution, e.g. uniform versus long-tailed, the problem of the distribution shift needs to be addressed. A recent line of work proposes learning multiple diverse experts to tackle this issue. Ensemble diversity is encouraged by various techniques, e.g. by specializing different experts in the head and the tail classes. In this work, we take an analytical approach and extend the notion of logit adjustment to ensembles to form a Balanced Product of Experts (BalPoE). BalPoE combines a family of experts with different test-time target distributions, generalizing several previous approaches. We show how to properly define these distributions and combine the experts in order to achieve unbiased predictions, by proving that the ensemble is Fisher-consistent for minimizing the balanced error. Our theoretical analysis shows that our balanced ensemble requires calibrated experts, which we achieve in practice using mixup. We conduct extensive experiments and our method obtains new state-of-the-art results on three long-tailed datasets: CIFAR-100-LT, ImageNet-LT, and iNaturalist-2018. Our code is available at https://github.com/emasa/BalPoE-CalibratedLT.

研究动机与目标

• 解决真实世界识别中长尾类别分布带来的挑战，其中头部类别占主导地位，而尾部类别因表示不足和泛化能力差而表现不佳。
• 克服现有方法（如数据重采样、损失加权和单专家偏差调整）的局限性，这些方法通常无法保证模型校准或无偏预测。
• 开发一种理论严谨的集成框架，即使在分布偏移下，也能在最小化平衡误差时保证无偏预测。
• 通过推导专家特定偏差的约束条件，确保专家集成的 Fisher 一致性，并验证模型校准的必要性。
• 证明 mixup 对实现专家校准至关重要，而校准是本方法理论保证的前提。

提出的方法

• 将 logits 调整从单模型扩展到集成模型，通过定义一种平衡专家乘积（BalPoE）来组合具有不同目标标签分布的多个专家。
• 引入专家特定偏差的理论约束，以确保在所有类别上最小化平衡误差时具有 Fisher 一致性。
• 在训练过程中使用 mixup 正则化以校准专家，因为未经校准的模型无法满足实现无偏集成预测所需的关键理论条件。
• 将每个专家的目标分布定义为前向、均匀和后向偏差的加权组合，将平均偏差设为零以保持平衡。
• 为每个专家使用针对其目标分布量身定制的损失函数，使其在头部、尾部或均匀类别区域实现专业化。
• 在测试时通过基于校准 logits 的加权平均组合专家预测，确保集成输出无偏且与平衡误差目标一致。

实验结果

研究问题

• RQ1 能否在理论上保证多样化专家的乘积在长尾识别中最小化平衡误差？实现此类保证需要哪些条件？
• RQ2 模型校准如何影响不平衡分类设置下集成模型的性能与公平性？
• RQ3 mixup 在实现专家模型所需校准方面发挥什么作用，从而支持 BalPoE 中的 Fisher 一致性？
• RQ4 所提出的框架能否超越单专家方法，并优于依赖知识蒸馏或推理时适应的复杂多专家方法？
• RQ5 在专家间强制实施特定偏差约束是否能提升所有样本量级别（尤其是少样本类别）在标准长尾基准上的性能？

主要发现

• BalPoE 在 CIFAR-100-LT-100 上实现了 57% 的新最先进 top-1 准确率，相对于其单专家基线提升了 11% 相对性能。
• 该方法显著提升了少样本和中等样本类别的性能，表现出对代表性不足类别的强大泛化能力。
• 使用七个专家可达到峰值性能，且在偶数个专家的集成中表现出平滑的准确率插值，表明对专家数量具有鲁棒性。
• mixup 对专家校准至关重要；消融研究显示，若无 mixup，集成无法实现 Fisher 一致性，可靠性图表现极差。
• 该方法优于复杂基线（如 SADE、NCL、BCL 和 PaCo），包括使用知识蒸馏或推理时训练的方法，且无需依赖这些机制。
• 理论分析证实，当满足专家偏差约束且专家正确校准时，BalPoE 在平衡误差下具有 Fisher 一致性。