[論文レビュー] MoCaE: Mixture of Calibrated Experts Significantly Improves Object Detection

Kemal Öksüz, Selim Kuzucu+2 more|arXiv (Cornell University)|Sep 26, 2023

COVID-19 diagnosis using AIMedicine被引用数 3

ひとこと要約

本稿では、個々のエキスパート検出器を事前にキャリブレーションすることで予測を統合する手法であるMoCaE（Mixture of Calibrated Experts）を提案する。予測の信頼度と実際の正確性に乖離が生じる「信頼度の不一致」を是正することで、洗練されたNMS戦略を用いた統合により、オブジェクト検出性能を向上させる。このアプローチにより、SOTA性能を達成し、COCOでは最大2.5のAP向上を達成。COCO test-devでは65.1のAP、DOTAでは82.62のAP50を達成した。

ABSTRACT

Combining the strengths of many existing predictors to obtain a Mixture of Experts which is superior to its individual components is an effective way to improve the performance without having to develop new architectures or train a model from scratch. However, surprisingly, we find that naïvely combining expert object detectors in a similar way to Deep Ensembles, can often lead to degraded performance. We identify that the primary cause of this issue is that the predictions of the experts do not match their performance, a term referred to as miscalibration. Consequently, the most confident detector dominates the final predictions, preventing the mixture from leveraging all the predictions from the experts appropriately. To address this, when constructing the Mixture of Experts, we propose to combine their predictions in a manner which reflects the individual performance of the experts; an objective we achieve by first calibrating the predictions before filtering and refining them. We term this approach the Mixture of Calibrated Experts and demonstrate its effectiveness through extensive experiments on 5 different detection tasks using a variety of detectors, showing that it: (i) improves object detectors on COCO and instance segmentation methods on LVIS by up to $\sim 2.5$ AP; (ii) reaches state-of-the-art on COCO test-dev with $65.1$ AP and on DOTA with $82.62$ $\mathrm{AP_{50}}$; (iii) outperforms single models consistently on recent detection tasks such as Open Vocabulary Object Detection.

研究の動機と目的

• 個々の強みを持つオブジェクト検出器をMixture of Experts（MoE）で単純に統合しても性能が低下する問題に対処すること。
• 性能低下の主な要因が、予測の信頼度と実際の正確性に一致しない「不一致」であることを同定すること。
• エキスパートの予測を統合する前段階でキャリブレーションを施す手法を提案し、各エキスパートの真の性能が最終出力に反映されることを保証すること。
• オープンボリューム検出を含む多様な検出ベンチマークにおいて、キャリブレートされたアンサンブルが個々のモデルや標準的なMoEを上回ることを実証すること。

提案手法

• まず、温度スケーリングとラベルスムージングを用いて、個々のオブジェクト検出器に対して信頼度キャリブレーションを適用し、予測の信頼度と実際の正確性を一致させる。
• 複数のキャリブレート済み検出器の予測を、洗練された非最大抑制（NMS）戦略を用いて統合することでMixture of Experts（MoE）を構築する。
• 洗練化されたステップでは、適合度の高い検出結果を優先し、誤検出（偽陽性）を抑制する。この際、キャリブレーション後のIoUと信頼度スコアを重視する。
• 各エキスパートごとにバリデーションセットを用いて独立してキャリブレーションを実施し、検出器1つあたり少数の学習可能なパラメータで十分である。
• 最終的なアンサンブル予測は、すべてのキャリブレート済みエキスパートの検出結果を統合し、クラス別にNMSを適用することで作成する。これにより重複予測を回避する。
• 本手法はプラグアンドプレイであり、市販の検出器と互換性があり、アーキテクチャの変更を最小限に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 個々の検出器に強みがあるにもかかわらず、Mixture of Experts（MoE）を単純に統合しても性能が向上しないのはなぜか？
• RQ2 予測の信頼度が実際の正確性を反映していない「不一致」が、オブジェクト検出におけるMoE性能にどの程度悪影響を及えるか？
• RQ3 エキスパートの統合前に個々のエキスパートをキャリブレーションすることで、多様な検出タスクおよびデータセットで一貫した性能向上が達成可能か？
• RQ4 COCO、LVIS、DOTAといった困難なベンチマークにおいて、MoCaEは標準的なディープアンサンブルや単一モデルベースラインと比べてどのように差をつけるか？
• RQ5 最近の複雑な検出タスク、例えばオープンボリュームオブジェクト検出においても、MoCaEはその優位性を維持できるか？

主な発見

• MoCaEはCOCOにおけるオブジェクト検出性能を最大2.5のAP向上で向上させ、COCO test-devでは65.1のAPという新たなSOTAを達成した。
• 回転物体検出を対象とするDOTAデータセットでは、82.62のAP50を達成し、新たなSOTAベンチマークを樹立した。
• LVISインスタンスセグメンテーションベンチマークでは、すべての単一検出器と標準的なMoEを上回り、29.4のAPを達成。最良の単一モデルより2.3ポイントの向上を達成した。
• オープンボリュームオブジェクト検出においても、MoCaEは単一モデルや標準的なMoEを一貫して上回り、分布外クラスに対しても頑健であることが示された。
• 最も困難な設定（YOLOv7、QueryInst、DyHead）において、単一モデルより1.5のAP向上を達成。COCO test-devでは+2.4のAP向上を記録した。
• アブレーションスタディにより、キャリブレーションが不可欠であることが確認された。キャリブレーションなしのMoEは単一モデルと同等の性能に留まり、キャリブレート済みのMoEでは顕著な向上が得られた。