[논문 리뷰] Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection

Li Xiang, Wenhai Wang외 6명|arXiv (Cornell University)|2020. 06. 08.

Advanced Neural Network Applications인용 수 764

한 줄 요약

이 논문은 Generalized Focal Loss (GFL)를 도입하여 로컬라이제이션 품질과 분류를 하나로 통합하고, 경계상자(박스)를 임의 분포로 모델링하여 단위 추론에서 최첨단 COCO 결과를 달성합니다.

ABSTRACT

One-stage detector basically formulates object detection as dense classification and localization. The classification is usually optimized by Focal Loss and the box location is commonly learned under Dirac delta distribution. A recent trend for one-stage detectors is to introduce an individual prediction branch to estimate the quality of localization, where the predicted quality facilitates the classification to improve detection performance. This paper delves into the representations of the above three fundamental elements: quality estimation, classification and localization. Two problems are discovered in existing practices, including (1) the inconsistent usage of the quality estimation and classification between training and inference and (2) the inflexible Dirac delta distribution for localization when there is ambiguity and uncertainty in complex scenes. To address the problems, we design new representations for these elements. Specifically, we merge the quality estimation into the class prediction vector to form a joint representation of localization quality and classification, and use a vector to represent arbitrary distribution of box locations. The improved representations eliminate the inconsistency risk and accurately depict the flexible distribution in real data, but contain continuous labels, which is beyond the scope of Focal Loss. We then propose Generalized Focal Loss (GFL) that generalizes Focal Loss from its discrete form to the continuous version for successful optimization. On COCO test-dev, GFL achieves 45.0\\% AP using ResNet-101 backbone, surpassing state-of-the-art SAPD (43.5\\%) and ATSS (43.6\\%) with higher or comparable inference speed, under the same backbone and training settings. Notably, our best model can achieve a single-model single-scale AP of 48.2\\%, at 10 FPS on a single 2080Ti GPU. Code and models are available at https://github.com/implus/GFocal.

연구 동기 및 목표

• 로 컬리제이션 품질 추정과 학습 중/테스트 간의 불일치를 하나의 스테이지 탐지기에서 해결합니다.
• 로컬라이제이션 품질과 클래스 점수의 공동 표현을 제안하여 학습과 추론을 통일합니다.
• Dirac 델타나 간단한 가우스가 아닌 유연한 분포로 경계상자를 모델링하여 불확실성을 포착합니다.
• 일반화된 Focal Loss (GFL)를 개발하여 지속적인 대상에 대해 품질 추정 및 분포 학습을 가능하게 하는 Focal Loss의 확장인 QFL과 DFL을 도입합니다.
• GFL을 ATSS/ResNet 백본과 함께 사용하여 효율적인 추론으로 COCO에서 최첨단 성능을 보여줍니다.

제안 방법

• ground-truth 카테고리 인덱스가 로컬라이제이션 품질(IoU) 값을 보유하게 하는 공동 분류-IoU 표현을 도입하여 끝에서 끝까지 통합된 점수를 만듭니다.
• 연속 대상 y ∈ [0,1]과 변모 인자 |y - p|^β를 갖는 연속 타깃으로 QFL(Quality Focal Loss)을 제안하여 Focal Loss를 연속 타깃으로 확장합니다.
• 경계상자 위치를 이산화된 공간 위의 일반 분포 P(x)로 표현하고 소프트맥스로 예측하여 학습 가능한 유연한 회귀 타깃을 가능하게 합니다.
• 대상 바인딩 좌표 근처의 확률 질량을 유도하고 y_i 및 y_{i+1}에 학습을 집중시키는 Distribution Focal Loss (DFL)을 도입합니다.
• QFL과 DFL을 일반화된 Focal Loss(GFL) 내에서 결합하여 L = L_QFL + L_DFL + L_B 항으로 Dense 위치에서 피라미드Across 학습합니다.
• 표준 일단계 탐지기와의 호환성을 입증하고 추론 오버헤드가 미미함을 보여줍니다.

실험 결과

연구 질문

• RQ1 로컬라이제이션 품질과 분류를 통합하면 하나의 스테이지 탐지기에서 학습-테스트 불일치를 줄일 수 있습니까?
• RQ2 유연하고 학습 가능한 분포로 경계상자를 모델링하면 현실 세계의 모호성하에서 로컬라이제이션 정확도가 향상됩니까?
• RQ3 Focal Loss를 연속 타깃으로 일반화하여 품질 추정 및 분포 학습을 최적화할 수 있습니까?
• RQ4 QFL과 DFL을 함께 적용했을 때 COCO AP에 대한 영향은 대 baseline 및 다른 최첨단 탐지기와 비교해 어떤가요?
• RQ5 제안된 GFL 접근 방식은 실제 배치에 충분히 효율적인가요?

주요 결과

• GFL은 공동 분류-IoU 표현으로 COCO의 다양한 변형에서baseline보다 높은 AP를 달성합니다(예: 동일 백본 및 학습 설정에서 SAPD 및 ATSS를 능가).
• QFL은 클래스별 연속 품질 추정을 효과적으로 학습하여 품질-로컬라이제이션 상호관계를 개선하고 전체 탐지 성능을 향상시킵니다.
• DFL은 목표 좌표 근처에 확률 질량을 집중시키며 유연한 경계상자 분포를 학습하고 불확실성 하에서 상자 정확도를 향상시킵니다.
• QFL과 DFL의 공동 사용은 직교 이득을 제공하며 강력한 ATSS 베이스라인 대비 약 1%p의 AP 향상을 가져오고 추론 오버헤드는 무시할 만합니다.
• GFL은 ResNet-101 백본으로 COCO test-dev에서 45.0% AP를 달성하고, 싱글 모델 싱글 스케일에서 10 FPS로 2080Ti 단일 GPU에서 48.2%의 AP를 달성하며 기존 방법보다 우수합니다.