[논문 리뷰] VarifocalNet: An IoU-aware Dense Object Detector

Haoyang Zhang, Ying Wang외 2명|arXiv (Cornell University)|2020. 08. 31.

Advanced Neural Network Applications참고 문헌 51인용 수 32

한 줄 요약

VFNet은 IoU-인식 분류 점수 (IACS)를 도입하고 Varifocal Loss로 함께 물체 존재와 Localization을 모델링하여 밀집 탐지기의 순위를 개선하고 COCO에서 최첨단 결과를 달성한다.

ABSTRACT

Accurately ranking the vast number of candidate detections is crucial for dense object detectors to achieve high performance. Prior work uses the classification score or a combination of classification and predicted localization scores to rank candidates. However, neither option results in a reliable ranking, thus degrading detection performance. In this paper, we propose to learn an Iou-aware Classification Score (IACS) as a joint representation of object presence confidence and localization accuracy. We show that dense object detectors can achieve a more accurate ranking of candidate detections based on the IACS. We design a new loss function, named Varifocal Loss, to train a dense object detector to predict the IACS, and propose a new star-shaped bounding box feature representation for IACS prediction and bounding box refinement. Combining these two new components and a bounding box refinement branch, we build an IoU-aware dense object detector based on the FCOS+ATSS architecture, that we call VarifocalNet or VFNet for short. Extensive experiments on MS COCO show that our VFNet consistently surpasses the strong baseline by $\sim$2.0 AP with different backbones. Our best model VFNet-X-1200 with Res2Net-101-DCN achieves a single-model single-scale AP of 55.1 on COCO test-dev, which is state-of-the-art among various object detectors.Code is available at https://github.com/hyz-xmaster/VarifocalNet .

연구 동기 및 목표

• 밀집 탐지기 후보 박스의 순위를 단순 분류 점수 이상으로 정확하게 매기려는 동기 부여.
• 물체 존재와 위치 정확성을 융합하는 IoU-인식 분류 점수(IACS)를 제안한다.
• 비대칭 가중치를 사용해 IACS를 예측하도록 DETECTORS를 훈련시키는 Varifocal Loss( VFL )를 개발한다.
• IACS 예측 및 박스 Refinement를 위한 별 모양 바운딩 박스 특징 표현을 도입한다.
• 이 구성 요소들을 FCOS+ATSS 기반 아키텍처에 통합하여 VarifocalNet ( VFNet )을 형성하고 COCO에서 평가한다.

제안 방법

• IACS를 예측된 박스와 실제 박스 간의 IoU가 해당 클래스의 ground-truth 위치를 차지하는 스칼라로 정의하고, 다른 위치는 0으로 설정한다.
• Varifocal Loss (VFL)를 도입하는데, 이는 음수 샘플을 비대칭적으로 하향가중하고 양성의 고품질 샘플을 상향가중하는 동적 스케일링 이진 교차 엔트로피 손실이다(양성에 대한 대상 q를 사용).
• IACS 예측을 위해 9개의 고정 샘플 포인트와 변형 가능한 합성卷积을 사용하여 박스 기하학 및 컨텍스트를 인코딩하는 별 모양의 바운딩 박스 표현을 채택한다.
• 초기 박스를 잔차 형태로 보정하기 위한 거리 스케일링 인자를 예측하는 바운딩 박스 Refinement 분기를 추가한다.
• FCOS+ATSS에서 센터니스(centerness) 분기를 제거하고, IACS 예측(분류)과 바운딩 박스 위치 추정 및 Refinement를 위한 두 개의 헤드를 갖춘 VFNet으로 구축한다.

실험 결과

연구 질문

• RQ1 IoU-인식 분류 점수(IACS)가 전통적인 분류 점수나 위치 신호의 곱보다 밀집 탐지기의 더 신뢰할 수 있는 순위 기준을 제공할 수 있는가?
• RQ2 Varifocal Loss가 IACS를 예측하는 학습 역학 및 최종 탐지 성능을 개선하는가?
• RQ3 별 모양의 고정 포인트 특징 표현이 IACS 예측 및 Refinement를 위해 박스 기하학과 컨텍스트를 더 잘 포착하는가?
• RQ4 VFNet이 COCO에서 AP 및 효율성 측면에서 강한 기준선(예: FCOS+ATSS)과 어떻게 비교되는가?
• RQ5 고급 백본 및 학습 방식을 사용하는 변형인 aVFNet-X를 통해 단일 모델의 COCO 결과 최첨단을 달성할 수 있는가?

주요 결과

• IACS는 전통적인 점수나 신호의 곱보다 탐지에 대한 우수한 순위 기준을 제공한다.
• Varifocal Loss가 FCOS+ATSS 대비 AP를 향상시키고 연속적인 IACS 대상을 효과적으로 학습하게 한다.
• 별 모양 바운딩 박스 특징과 Refinement 분기를 통해 박스 기하학 및 컨텍스트를 포착하여 추가 AP 이득을 얻는다.
• VFNet은 백본에 따라 약 2.0 AP 정도를 상회하며, VFNet-X-1200은 COCO test-dev에서 55.1 AP를 달성한다.
• 강력한 백본(e.g., Res2Net-101-DCN)을 갖춘 VFNet-X는 COCO test-dev에서 단일 모델 단일 스케일로 최첨단 성능(55.1 AP)을 달성한다.
• Varifocal Loss는 detector 전반에서 일반적으로 유익하며 (ResNet-50, RetinaNet, FoveaBox, RepPoints, ATSS) 실험에서 Generalized Focal Loss보다 우수하다.