[논문 리뷰] GiraffeDet: A Heavy-Neck Paradigm for Object Detection

Yiqi Jiang, Zhiyu Tan외 4명|arXiv (Cornell University)|2022. 02. 09.

Advanced Neural Network Applications인용 수 74

한 줄 요약

기린Det은 딥하게 유연한 일반화-FPN 넥을 갖춘 경량 스페이스-투-디프 백본으로 Dense 멀티스케일 특징 융합을 가능하게 하여 COCO에서 다양한 FLOPs 예산 하에서 강한 정확도를 달성합니다.

ABSTRACT

In conventional object detection frameworks, a backbone body inherited from image recognition models extracts deep latent features and then a neck module fuses these latent features to capture information at different scales. As the resolution in object detection is much larger than in image recognition, the computational cost of the backbone often dominates the total inference cost. This heavy-backbone design paradigm is mostly due to the historical legacy when transferring image recognition models to object detection rather than an end-to-end optimized design for object detection. In this work, we show that such paradigm indeed leads to sub-optimal object detection models. To this end, we propose a novel heavy-neck paradigm, GiraffeDet, a giraffe-like network for efficient object detection. The GiraffeDet uses an extremely lightweight backbone and a very deep and large neck module which encourages dense information exchange among different spatial scales as well as different levels of latent semantics simultaneously. This design paradigm allows detectors to process the high-level semantic information and low-level spatial information at the same priority even in the early stage of the network, making it more effective in detection tasks. Numerical evaluations on multiple popular object detection benchmarks show that GiraffeDet consistently outperforms previous SOTA models across a wide spectrum of resource constraints. The source code is available at https://github.com/jyqi/GiraffeDet.

연구 동기 및 목표

• 전통적인 무거운 백본 설계에서 가벼운 백본과 깊은 넥을 페어링하여 물체 탐지의 효율성을 높이자는 방향으로 전환을 촉진한다.
• 추가 계산 부담 없이 다중 스케일 특징 추출을 보존하는 가벼운 백본 설계.
• 고밀도 교차 스케일 정보 교환이 가능한 무거운 넥 퓨전 모듈(Generalized-FPN)을 개발한다.

제안 방법

• 저계산으로 다중스케일 특징을 추출하기 위한 백본으로 가벼운 Space-to-Depth 체인(S2D-Chain)을 제안한다.
• 여왕-퓨전 스타일의 교차 스케일 연결과 스킵-레이어 링크(밀집-링크 및 log2n-링크)로 GFPN을 도입하여 규모와 층 간 정보 교환을 광범위하게 가능하게 한다.
• 깊이(phi_d)와 너비(phi_w) 두 매개 변수 확장 방식을 채택하여 다양한 GFPN 깊이와 너비를 가진 GiraffeDet 모델 시리즈를 생성한다.
• 가벼운 S2D-Chain 위에 GFPN의 무거운 넥 설계를 적용하고 탐지 헤드(GFocalV2) 및 앵커 할당자(ATSS)와 결합한다.
• 스킵-레이어 전략(밀집 vs log2n), 교차 스케일 연결(Queen-fusion), 백본 대 넥 기여의 차이를 비교하는 어블레이션을 수행하여 무거운 넥 패러다임을 검증한다.

실험 결과

연구 질문

• RQ1 가벼운 백본으로도 물체 탐지에서의 다중 스케일 특징 추출이 효과적일 정도인지, 아니면 무거운 넥 융합이 성능에 더 중요한지?
• RQ2 GFPN의 서로 다른 교차 스케일 융합 전략(Queen-fusion과 스킵-레이어 링크)이 다양한 FLOPs 예산에서 탐지 정확도에 어떤 영향을 미치는지?
• RQ3 GFPN 깊이와 너비를 확장해도 백본을 확장하지 않고도 컴퓨팅 예산의 스펙트럼에서 SOTA 정확도를 달성할 수 있는지?
• RQ4 COCO에서 높은 성능을 달성하는 데 있어 넥(GFPN)의 상대적 중요성은 백본(S2D-chain)보다 큰가?
• RQ5 DCN이 GiraffeDet 프레임워크 내에서 성능을 더 높이나?

주요 결과

• GiraffeDet은 COCO에서 동일한 FLOPs 예산에서 기존 SOTA 모델을 지속적으로 능가한다.
• 경량 S2D-chain 백본과 깊은 GFPN 넥을 결합하면 물체 스케일에 따라 특히 작고 큰 인스턴스에서 강한 탐지가 가능하다.
• GFPN with log2n skip-layer connections and Queen-fusion cross-scale pathways enables effective high-level semantic and low-level spatial information exchange.
• GFPN의 깊이와 너비 확장(phi_d와 phi_w)은 여섯 가지 GiraffeDet 변종을 만들어 다양한 FLOPs를 커버하면서도 경쟁력 있는 정확도를 유지한다.
• DCN-향상 GFPN 변종은 상당한 AP 이익을 가져와 제안된 넥과 DCN의 결합 이점을 확인시켜 준다.