[논문 리뷰] MoCaE: Mixture of Calibrated Experts Significantly Improves Object Detection

Kemal Öksüz, Selim Kuzucu외 2명|arXiv (Cornell University)|2023. 09. 26.

COVID-19 diagnosis using AIMedicine인용 수 3

한 줄 요약

이 논문은 개별 전문가 검출기의 예측을 보정한 후 정교한 NMS 전략을 통해 예측을 통합함으로써 객체 검출 성능을 햖थ는 MoCaE(Mixture of Calibrated Experts)를 제안한다. 신뢰도 보정이 부족한 경우 높은 신뢰도 예측이 실제 정확도를 반영하지 못하는 문제를 해결함으로써 MoCaE는 최신 기준 성능을 달성하며, COCO에서 최대 2.5 AP 향상을 기록했고, COCO test-dev에서 65.1 AP, DOTA에서 82.62 AP50를 달성했다.

ABSTRACT

Combining the strengths of many existing predictors to obtain a Mixture of Experts which is superior to its individual components is an effective way to improve the performance without having to develop new architectures or train a model from scratch. However, surprisingly, we find that naïvely combining expert object detectors in a similar way to Deep Ensembles, can often lead to degraded performance. We identify that the primary cause of this issue is that the predictions of the experts do not match their performance, a term referred to as miscalibration. Consequently, the most confident detector dominates the final predictions, preventing the mixture from leveraging all the predictions from the experts appropriately. To address this, when constructing the Mixture of Experts, we propose to combine their predictions in a manner which reflects the individual performance of the experts; an objective we achieve by first calibrating the predictions before filtering and refining them. We term this approach the Mixture of Calibrated Experts and demonstrate its effectiveness through extensive experiments on 5 different detection tasks using a variety of detectors, showing that it: (i) improves object detectors on COCO and instance segmentation methods on LVIS by up to $\sim 2.5$ AP; (ii) reaches state-of-the-art on COCO test-dev with $65.1$ AP and on DOTA with $82.62$ $\mathrm{AP_{50}}$; (iii) outperforms single models consistently on recent detection tasks such as Open Vocabulary Object Detection.

연구 동기 및 목표

• 단일 전문가 검출기의 성능은 높지만, Mixture of Experts(MoE) 방식으로 간단히 통합할 경우 성능 저하 문제를 해결하기 위해.
• MoE 성능 저하의 주요 원인이 예측 신뢰도가 실제 정확도와 일치하지 않는 보정 불량(miscalibration)임을 규명하기 위해.
• 각 전문가의 예측을 앙상블 통합 전에 보정함으로써 각 전문가의 진정된 성능이 최종 출력에 반영되도록 하는 방법을 제안하기 위해.
• 다양한 검출 벤치마크, 특히 오픈 뷰어 객체 검출을 포함한 다양한 검출 작업에서 개별 모델과 표준 MoE보다 우수한 성능을 보이는 보정된 앙상블의 우수성을 입증하기 위해.

제안 방법

• 먼저 온전한 신뢰도 보정을 위해 온도 스케일링과 레이블 스무딩을 사용하여 개별 객체 검출기의 예측 신뢰도를 실제 정확도와 일치시킨다.
• 정교한 비최대 억제(NMS) 전략을 사용하여 다수의 보정된 검출기의 예측을 통합함으로써 Mixture of Experts(MoE)를 구성한다.
• 보정 후 IoU 및 신뢰도 점수를 고려하여 고품질 검출 결과를 우선순위로 삼고, 잡음(가짜 양성)을 억제하는 보정 단계를 수행한다.
• 검증 세트를 사용하여 각 전문가별로 독립적으로 보정을 수행하며, 각 검출기당 몇 개의 학습 가능한 파라미터만 필요로 한다.
• 최종 앙상블 예측은 모든 보정된 전문가의 검출 결과를 융합하고, 클래스별로 NMS를 적용하여 중복 예측을 방지한다.
• 이 방법은 즉시 적용 가능한 플러그 앤 플레이 방식이며, 표준 제품 검출기와 호환되며 아키텍처 변경 최소화가 가능하다.

실험 결과

연구 질문

• RQ1 왜 여러 객체 검출기를 단순히 Mixture of Experts(MoE) 방식으로 통합해도 그들의 개별 강점에도 불구하고 성능 향상이 이루어지지 않는가?
• RQ2 신뢰도 점수가 실제 정확도를 반영하지 못하는 예측 보정 불량이 객체 검출에서 MoE 성능에 얼마나 큰 영향을 미치는가?
• RQ3 앙상블 통합 전에 개별 전문가를 보정하는 것이 다양한 검출 작업 및 데이터셋에서 일관된 성능 향상을 이끌 수 있는가?
• RQ4 COCO, LVIS, DOTA와 같은 도전적인 벤치마크에서 MoCaE는 표준 딥 앙상블과 단일 모델 기반 베이스라인과 어떻게 비교되는가?
• RQ5 최근의 복잡한 검출 작업, 예를 들어 오픈 뷰어 객체 검출에서 MoCaE는 여전히 성능 우위를 유지하는가?

주요 결과

• MoCaE는 COCO에서 최대 2.5 AP 향상을 기록하며, COCO test-dev에서 65.1 AP의 새로운 최신 기준 성능을 달성했다.
• 기울어진 객체 검출을 위한 DOTA 데이터셋에서 MoCaE는 82.62 AP50를 기록하여 새로운 최신 기준 벤치마크를 수립했다.
• LVIS 인스턴스 세그멘테이션 벤치마크에서 MoCaE는 모든 단일 검출기와 표준 MoE를 초월하여 29.4 AP를 달성했으며, 최고의 단일 모델보다 2.3 포인트 향상된 성능을 보였다.
• 오픈 뷰어 객체 검출에서 MoCaE는 단일 모델과 표준 MoE를 지속적으로 능가하며, 분포 외 클래스에 대해서도 뛰어난 강인성을 보였다.
• 가장 도전적인 설정(YPLOv7, QueryInst, DyHead)에서 MoCaE는 단일 모델보다 1.5 AP 향상을 기록했으며, COCO test-dev에서 +2.4 AP 향상을 기록했다.
• 제거 분석 결과 보정이 필수적임을 확인: 보정되지 않은 MoE는 단일 모델과 성능 향상이 없었고, 보정된 MoE는 뚜렷한 성능 향상을 보였다.