[논문 리뷰] Learning Spatial Fusion for Single-Shot Object Detection

Songtao Liu, Di Huang외 1명|arXiv (Cornell University)|2019. 11. 21.

Advanced Neural Network Applications참고 문헌 44인용 수 464

한 줄 요약

논문은 ASFF를 제안하여 피처 피라미드 레벨 간 위치별 융합 가중치를 학습해 단일 샷 검출기의 스케일 간 일관성 문제를 줄이고 COCO에서 속도-정확도 트레이드오프를 개선한다.

ABSTRACT

Pyramidal feature representation is the common practice to address the challenge of scale variation in object detection. However, the inconsistency across different feature scales is a primary limitation for the single-shot detectors based on feature pyramid. In this work, we propose a novel and data driven strategy for pyramidal feature fusion, referred to as adaptively spatial feature fusion (ASFF). It learns the way to spatially filter conflictive information to suppress the inconsistency, thus improving the scale-invariance of features, and introduces nearly free inference overhead. With the ASFF strategy and a solid baseline of YOLOv3, we achieve the best speed-accuracy trade-off on the MS COCO dataset, reporting 38.1% AP at 60 FPS, 42.4% AP at 45 FPS and 43.9% AP at 29 FPS. The code is available at https://github.com/ruinmessi/ASFF

연구 동기 및 목표

• 피라미드 특징 표현을 사용하여 물체 검출에서 스케일 variation 해결.
• 단일 샷 검출기에서 피처 피라미드 레벨 간 융합 시의 불일치 완화.
• 효율성을 보존하고 정확도를 향상시키는 데이터 주도형 융합 메커니즘 제공.

제안 방법

• ASFF를 도입하여 피처 피라미드 레벨 전반의 각 위치에서 공간 융합 가중치를 학습한다.
• 적응형 융합 이전에 모든 레벨의 특징을 공통 해상도로 크기 조정한다.
• 학습된 매개변수 lambda에 대해 소프트맥스를 통해 융합 가중치를 계산하고, alpha, beta, gamma를 생성하며 alpha+beta+gamma=1.
• y^l_ij = alpha^l_ij x^{1->l}_ij + beta^l_ij x^{2->l}_ij + gamma^l_ij x^{3->l}_ij로 레벨별 특징을 융합한다.
• 표준 탐지 손실과 기존 YOLOv3 (및 IoU) 손실을 더해 엔드-투-엔드로 학습하고; 추론 오버헤드를 거의 일정하게 유지한다.
• YOLOv3 및 RetinaNet 백본과의 호환성을 입증하고 속도-정확도 향상을 보여준다.

실험 결과

연구 질문

• RQ1 피처 피라미드 레벨 전반에 걸친 적응형의 위치별 융합이 단일 샷 검출기의 스케일 불일치를 줄일 수 있는가?
• RQ2 표준 융합(sum/concat) 및 무시 영역 전략과 비교하여 정확도와 속도 측면에서 ASFF는 어떤가?
• RQ3 대상 객체가 작고 중간 크기의 탐지를 개선하면서도 큰 객체의 성능 저하 없이 가능한가?
• RQ4 ASFF가 백본 및 검출기 설계에 의존하지 않는가, 그리고 실제 추론 오버헤드는 어느 정도인가?

주요 결과

• ASFF는 COCO val-2017에서 YOLOv3 기반 검출기의 AP를 38.8%에서 40.6%로 향상시키며(오버헤드는 최소).
• ASFF는 추론 시간에 약 2 ms를 추가하고 약 46 FPS를 유지한다.
• ASFF는 작은 물체와 중간 물체에서 더 큰 향상을 보이며 (AP_S 및 AP_M 각각 약 2.9 포인트 증가).
• ASFF를 적용한 RetinaNet은 기준보다 일관되게 AP를 향상시키며 (예: R50-FPN: 35.9에서 37.4로, R101-FPN: 39.1에서 40.1로 on val-2017).
• COCO test-dev에서 YOLOv3+ASFF*는 63 FPS에서 42.4 AP를 달성하고 ASFF* 변형으로 29 FPS에서 43.9 AP를 달성한다.