[논문 리뷰] Libra R-CNN: Towards Balanced Learning for Object Detection

Jiangmiao Pang, Kai Chen외 4명|arXiv (Cornell University)|2019. 04. 04.

Advanced Neural Network Applications참고 문헌 34인용 수 138

한 줄 요약

Libra R-CNN은 IoU-균형 샘플링, 균형 피처 피라미드, 및 균형 L1 손실을 도입하여 학습 시 불균형을 해결하고 기준 대비 COCO AP를 향상시킨다.

ABSTRACT

Compared with model architectures, the training process, which is also crucial to the success of detectors, has received relatively less attention in object detection. In this work, we carefully revisit the standard training practice of detectors, and find that the detection performance is often limited by the imbalance during the training process, which generally consists in three levels - sample level, feature level, and objective level. To mitigate the adverse effects caused thereby, we propose Libra R-CNN, a simple but effective framework towards balanced learning for object detection. It integrates three novel components: IoU-balanced sampling, balanced feature pyramid, and balanced L1 loss, respectively for reducing the imbalance at sample, feature, and objective level. Benefitted from the overall balanced design, Libra R-CNN significantly improves the detection performance. Without bells and whistles, it achieves 2.5 points and 2.0 points higher Average Precision (AP) than FPN Faster R-CNN and RetinaNet respectively on MSCOCO.

연구 동기 및 목표

• 샘플, 피처 및 목표 수준에서 객체 탐지기의 학습 시 불균형을 식별하고 정량화한다.
• 이 불균형을 완화하기 위한 균형 학습 프레임워크(IoU-균형 샘플링, 균형 피처 피라미드, 균형 L1 손실)를 제안한다.
• 표준 백본을 사용하는 두 단계 및 단일 단계 검출기에서 MS COCO에 대해 유의미한 AP 향상을 시연한다.
• 제안된 구성 요소가 로컬라이제이션 및 인식 정확도를 시너지 있게 개선함을 보여준다.

제안 방법

• IoU 분포에 따라 어려운 음수/양수를 우선순위로 두되 추가 비용 없이 IoU-균형 샘플링을 수행한다.
• 다중 레벨 피처를 정보의 균형화로 서로 보완하는 균형 피처 피라미드(BFP)로 구성한다.
• 일관된 회귀 그래디언트를 촉진하고 분류와 로컬라이제이션 작업에서 이상치의 영향을 제어하는 균형 L1 손실을 사용한다.

실험 결과

연구 질문

• RQ1 현재 객체 탐지기에서 샘플, 피처 및 목표 수준에서 어떤 학습 시 불균형이 성능을 제한하는가?
• RQ2 복잡한 아키텍처 변경 없이 의도적으로 균형 잡힌 학습 프레임워크가 로컬라이제이션과 인식을 모두 개선할 수 있는가?
• RQ3 IoU-균형 샘플링, 균형 피처 피라미드, 균형 L1 손실이 결합될 때 보완적 이득을 제공하는가?
• RQ4 이 구성 요소들이 백본 선택에 따라 MS COCO 같은 표준 벤치마크에서의 성능에 어떤 영향을 미치는가?

주요 결과

• Libra R-CNN은 COCO에서 기준보다 큰 AP 향상을 달성하며, 예를 들어 ResNet-50과 함께 FPN Faster R-CNN 대비 2.5 AP, RetinaNet 대비 2.0 AP 향상을 보인다.
• IoU-균형 샘플링은 val-2017 기준에서 AP를 최대 약 0.9포인트까지 향상시킨다.
• 균형 피처 피라미드는 소형/중형/대형 객체에서 일관된 이득을 제공하고 PAFPN을 보완한다.
• 균형 L1 손실은 내부 샘플 및 외부 샘플 간 그래디언트를 균형 있게 조정하여 로컬라이제이션, 특히 AP75를 향상시킨다.
• 강한 백본(예: ResNeXt-101-FPN)에서 Libra R-CNN은 43.0 AP에 도달해 다수의 최신 검출기를 능가한다.