[논문 리뷰] Generalized Focal Loss V2: Learning Reliable Localization Quality Estimation for Dense Object Detection

Li Xiang, Wenhai Wang외 4명|arXiv (Cornell University)|2020. 11. 25.

Advanced Neural Network Applications참고 문헌 45인용 수 25

한 줄 요약

이 논문은 GFLV1에서 소개된 '일반 분포'(General Distribution)로 학습된 바운딩 박스 분포의 통계를 활용하여 국소화 정확도 점수를 예측하는 새로운 밀도 객체 검출 프레임워크인 GFLV2를 제안한다. 이 분포 통계를 기반으로 가벼운 분포 지도형 정확도 예측기(Distribution-Guided Quality Predictor, DGQP)를 적용함으로써, ResNet-101를 사용할 때 COCO에서 14.6 FPS의 높은 효율성을 유지하면서도 SOTA인 46.2 AP를 달성하였으며, ATSS보다 2.6 AP 높은 성능을 기록하였다.

ABSTRACT

Localization Quality Estimation (LQE) is crucial and popular in the recent advancement of dense object detectors since it can provide accurate ranking scores that benefit the Non-Maximum Suppression processing and improve detection performance. As a common practice, most existing methods predict LQE scores through vanilla convolutional features shared with object classification or bounding box regression. In this paper, we explore a completely novel and different perspective to perform LQE -- based on the learned distributions of the four parameters of the bounding box. The bounding box distributions are inspired and introduced as "General Distribution" in GFLV1, which describes the uncertainty of the predicted bounding boxes well. Such a property makes the distribution statistics of a bounding box highly correlated to its real localization quality. Specifically, a bounding box distribution with a sharp peak usually corresponds to high localization quality, and vice versa. By leveraging the close correlation between distribution statistics and the real localization quality, we develop a considerably lightweight Distribution-Guided Quality Predictor (DGQP) for reliable LQE based on GFLV1, thus producing GFLV2. To our best knowledge, it is the first attempt in object detection to use a highly relevant, statistical representation to facilitate LQE. Extensive experiments demonstrate the effectiveness of our method. Notably, GFLV2 (ResNet-101) achieves 46.2 AP at 14.6 FPS, surpassing the previous state-of-the-art ATSS baseline (43.6 AP at 14.6 FPS) by absolute 2.6 AP on COCO { t test-dev}, without sacrificing the efficiency both in training and inference. Code will be available at https://github.com/implus/GFocalV2.

연구 동기 및 목표

• 기존 국소화 정확도 추정(LQE) 방법이 공간적 특징(예: 점 또는 영역)에 의존하는 데서 비롯되는 한계를 해결하기 위해, 실제 국소화 정확도와 상관관계가 높지 않을 수 있는 기존의 순수 컨볼루션 특징에 의존하지 않는 것을 목적으로 한다.
• 예측된 바운딩 박스 분포의 내재된 통계적 성질을 활용하여 LQE의 새로운 패러다임을 탐색한다.
• 비교적 가벼운, 효율적이고 효과적인 정확도 예측기를 개발하여, 더 나은 검출 결과 순위 매기기로 NMS 성능을 향상시키는 것을 목적으로 한다.
• 훈련 및 추론 효율성을 유지하면서도 검출 정확도를 크게 향상시키는 것을 목적으로 한다.

제안 방법

• 이 방법은 예측된 바운딩 박스의 네 모서리에 대한 이산 확률 분포인 '일반 분포'(General Distribution)의 통계를 사용함으로써, 점이나 영역과 같은 공간적 특징에 의존하지 않는 새로운 LQE 관점 도입.
• 일반 분포는 바운딩 박스 회귀의 불확실성을 모델링하며, 그 형태(예: 날카움)는 경험적 분석을 통해 실제 국소화 정확도와 강한 상관관계를 보임.
• 네 면의 분포 통계의 평균과 분산을 입력으로 사용하는 경량의 서브넷인 분포 지도형 정확도 예측기(DGQP)를 제안함.
• DGQP는 검출기와 함께 엔드 투 엔드로 훈련되며, 추가적인 계산 비용이 극히 적고, 은닉 유닛 약 64개만으로도 훈련 및 추론 속도를 유지함.
• 기존의 LQE 헤드(예: Centerness 또는 IoU 기반)를 대체하여 실제 국소화 신뢰도를 더 잘 반영하는 분포 인식 정확도 추정 헤드 도입.
• 기존의 밀도 검출기와 호환되며, COCO에서 평가되었으며, 다양한 백본과 설정에서 일관된 성능 향상을 보임.

실험 결과

연구 질문

• RQ1 학습된 바운딩 박스 분포의 통계적 성질이 국소화 정확도 추정에 대해 신뢰할 수 있고 정보적인 신호로 기능할 수 있는가?
• RQ2 기존의 공간적 특징 대비 분포 통계를 정확도 예측의 입력으로 사용할 경우, 실제 IoU와의 상관관계는 어떻게 되는가?
• RQ3 분포 통계를 기반으로 한 경량 정확도 예측기가 훈련 또는 추론 효율성을 저하시키지 않고도 검출 성능을 향상시키는가?
• RQ4 제안된 방법이 더 나은 순위 매기기로 인해 NMS에서 잘못된 검출을 제거하는 데 얼마나 기여하는가?

주요 결과

• ResNet-101를 사용하여 COCO test-dev에서 46.2 AP를 달성하였으며, 이는 이전 SOTA인 ATSS 기준(43.6 AP)보다 2.6 AP 높은 성능이며, 동일한 14.6 FPS의 추론 속도를 유지함.
• 제안된 DGQP는 GFLV1 대비 예측된 IoU 점수와 진짜 IoU 점수 간 피어슨 상관계수를 0.26 향상시켜 0.9 AP 향상 기여.
• GFLV2에서는 LQE의 훈련 손실이 GFLV1보다 더 빠르게 수렴하고 낮은 값으로 수렴함으로써, DGQP가 정확도 추정의 학습 난이도를 완화시킴을 시사함.
• DGQP 모듈은 계산 오버헤드가 극히 적어, ResNet-50에서는 19.4 FPS, ResNet-101에서는 14.6 FPS의 추론 속도를 유지함. 이는 RepPointsV2 및 BorderDet와 같이 심각한 속도 손실을 겪는 방법들보다 뛰어난 성능을 기록함.
• 정성적 시각화 결과, GFLV2는 가장 정확한 예측에 더 높은 정확도 점수를 할당하여 NMS 동안 고정확도 검출을 잘못 제거할 위험을 줄임.
• 이 방법은 효율적이고 호환성이 있음: 훈련 시간 증가 없이 ResNet-50에서 41.1 AP를 달성하였으며, 추론 속도는 19.4 FPS를 유지함. 이는 PAA, RepPointsV2, BorderDet와 비교해도 정확도와 효율성 양면에서 뛰어난 성능을 기록함.