[论文解读] MoCaE: Mixture of Calibrated Experts Significantly Improves Object Detection

Kemal Öksüz, Selim Kuzucu+2 more|arXiv (Cornell University)|Sep 26, 2023

COVID-19 diagnosis using AIMedicine被引用 3

一句话总结

本文提出 MoCaE（校准专家混合模型），通过在组合预测前对各个专家检测器进行校准，并结合优化的非极大值抑制（NMS）策略，提升了目标检测性能。通过纠正置信度校准偏差——即高置信度预测未能反映实际准确率的问题——MoCaE 实现了最先进性能，在 COCO 上 AP 提升最高达 2.5，COCO test-dev 上达到 65.1 AP，DOTA 上达到 82.62 AP50。

ABSTRACT

Combining the strengths of many existing predictors to obtain a Mixture of Experts which is superior to its individual components is an effective way to improve the performance without having to develop new architectures or train a model from scratch. However, surprisingly, we find that naïvely combining expert object detectors in a similar way to Deep Ensembles, can often lead to degraded performance. We identify that the primary cause of this issue is that the predictions of the experts do not match their performance, a term referred to as miscalibration. Consequently, the most confident detector dominates the final predictions, preventing the mixture from leveraging all the predictions from the experts appropriately. To address this, when constructing the Mixture of Experts, we propose to combine their predictions in a manner which reflects the individual performance of the experts; an objective we achieve by first calibrating the predictions before filtering and refining them. We term this approach the Mixture of Calibrated Experts and demonstrate its effectiveness through extensive experiments on 5 different detection tasks using a variety of detectors, showing that it: (i) improves object detectors on COCO and instance segmentation methods on LVIS by up to $\sim 2.5$ AP; (ii) reaches state-of-the-art on COCO test-dev with $65.1$ AP and on DOTA with $82.62$ $\mathrm{AP_{50}}$; (iii) outperforms single models consistently on recent detection tasks such as Open Vocabulary Object Detection.

研究动机与目标

• 为解决在混合专家（MoE）中简单组合多个目标检测器时性能下降的问题，尽管各检测器本身具有优势。
• 识别出预测校准偏差——即置信度分数未能反映实际准确率——是 MoE 性能下降的主要原因。
• 提出一种在集成组合前对专家预测进行校准的方法，确保每个专家的真实性能在最终输出中得以体现。
• 证明校准后的集成模型在多种检测基准（包括开放词汇检测）上优于单个模型和标准 MoE。

提出的方法

• 首先使用温度缩放和标签平滑对单个目标检测器进行置信度校准，使其预测置信度与实际准确率对齐。
• 通过采用优化的非极大值抑制（NMS）策略，将多个校准后的检测器的预测结果组合成一个混合专家（MoE）。
• 优化步骤优先保留高质量检测结果，同时抑制假阳性，重点关注校准后的 IoU 和置信度分数。
• 每个专家独立使用验证集进行校准，仅需每个检测器少量可学习参数。
• 最终集成预测通过合并所有校准专家的检测结果生成，对每种类别应用特定的 NMS 以避免重复预测。
• 该方法即插即用，兼容现成检测器，且仅需极少的架构修改。

实验结果

研究问题

• RQ1 为何在组合多个具有优势的目标检测器时，简单的混合专家（MoE）方法无法提升性能？
• RQ2 预测校准偏差——即置信度分数未能反映实际准确率——在目标检测中对 MoE 性能的损害程度如何？
• RQ3 在集成组合前对单个专家进行校准，是否能在多样化的检测任务和数据集上实现一致的性能提升？
• RQ4 MoCaE 在 COCO、LVIS 和 DOTA 等复杂基准上与标准深度集成模型和单模型基线相比表现如何？
• RQ5 MoCaE 在近期复杂检测任务（如开放词汇目标检测）中是否仍保持其优势？

主要发现

• MoCaE 在 COCO 上将目标检测性能提升最高达 2.5 AP，COCO test-dev 上达到 65.1 AP 的新最先进水平。
• 在用于旋转目标检测的 DOTA 数据集上，MoCaE 达到 82.62 AP50，创下新的最先进基准。
• 在 LVIS 实例分割基准上，MoCaE 超过所有单个检测器和标准 MoE，达到 29.4 AP，较最佳单个模型提升 2.3 个百分点。
• 在开放词汇目标检测中，MoCaE 稳定优于单个模型和标准 MoE，展现出对分布外类别的鲁棒性。
• 在最具挑战性的设置（YOLOv7、QueryInst、DyHead）中，MoCaE 相比单个检测器提升 1.5 AP，COCO test-dev 上提升达 +2.4 AP。
• 消融实验证实校准至关重要：未经校准的 MoE 与单个模型相比无性能提升，而校准后的 MoE 显著提升性能。