[논문 리뷰] DPNet: Dual-Path Network for Real-time Object Detection with Lightweight Attention

Quan Zhou, Huimin Shi외 4명|arXiv (Cornell University)|2022. 09. 28.

Advanced Neural Network Applications인용 수 6

한 줄 요약

DPNet는 실시간 객체 검출에서 특징 표현을 향상시키기 위해 경량 자기상관 모듈(LSCM)과 교차상관 모듈(LCCM)을 갖춘 이중경로 백본을 제안한다. 병렬 경로와 효율적인 주의 메커니즘을 통해 고수준 의미 정보와 저수준 세부 정보를 융합함으로써, 320×320 해상도에서 오직 1.04 GFLOPs와 164 FPS의 높은 추론 속도로 MS COCO에서 30.5% AP의 최신 기준 성능을 달성한다.

ABSTRACT

The recent advances of compressing high-accuracy convolution neural networks (CNNs) have witnessed remarkable progress for real-time object detection. To accelerate detection speed, lightweight detectors always have few convolution layers using single-path backbone. Single-path architecture, however, involves continuous pooling and downsampling operations, always resulting in coarse and inaccurate feature maps that are disadvantageous to locate objects. On the other hand, due to limited network capacity, recent lightweight networks are often weak in representing large scale visual data. To address these problems, this paper presents a dual-path network, named DPNet, with a lightweight attention scheme for real-time object detection. The dual-path architecture enables us to parallelly extract high-level semantic features and low-level object details. Although DPNet has nearly duplicated shape with respect to single-path detectors, the computational costs and model size are not significantly increased. To enhance representation capability, a lightweight self-correlation module (LSCM) is designed to capture global interactions, with only few computational overheads and network parameters. In neck, LSCM is extended into a lightweight crosscorrelation module (LCCM), capturing mutual dependencies among neighboring scale features. We have conducted exhaustive experiments on MS COCO and Pascal VOC 2007 datasets. The experimental results demonstrate that DPNet achieves state-of the-art trade-off between detection accuracy and implementation efficiency. Specifically, DPNet achieves 30.5% AP on MS COCO test-dev and 81.5% mAP on Pascal VOC 2007 test set, together mwith nearly 2.5M model size, 1.04 GFLOPs, and 164 FPS and 196 FPS for 320 x 320 input images of two datasets.

연구 동기 및 목표

• 극도로 강한 다운샘플링으로 인해 세밀한 객체 세부 정보를 상실하는 단일경로 경량 검출기의 한계를 해결한다.
• 모델 크기나 계산 비용을 크게 증가시키지 않으면서도 경량 네트워크의 특징 표현을 향상시킨다.
• 더 나은 검출 성능를 위해 네ック 모듈에서 효과적인 다중 척도 특징 상호작용을 가능하게 한다.
• 최소한의 계산 오버헤드로 전반적인 의존성을 포괄하는 경량 주의 메커니즘을 설계한다.
• 실시간 객체 검출에서 정확도, 모델 크기, 추론 속도 간의 새로운 최신 기준 트레이드오프를 달성한다.

제안 방법

• 고해상도 및 저해상도 특징을 별도로 처리함으로써 의미적 맥락과 공간적 세부 정보를 모두 유지하는 이중경로 백본 아키텍처(HRP 및 LRP)를 제안한다.
• 백본에서 경량 자기상관 모듈(LSCM)을 도입하여 공간 풀링과 채널 별 상관관계를 사용해 전반적인 특징 의존성을 모델링함으로써 파rameter 수를 감소시킨다.
• 네ック에서 경량 교차상관 모듈(LCCM)을 활용해 특징 피라미드 간 양방향 융합을 수행함으로써 다중 척도 특징 상호작용을 향상시킨다.
• 깊이 분리형 컨벌루션과 채널 압축(감소 비율 r)을 사용하여 주의 계산을 가능하게 하면서도 효율성을 유지한다.
• LCCM에서 이중 방향 융합 전략을 적용하여 상향식 및 하향식 특징 정제를 결합함으로써 특징 표현을 향상시킨다.
• 작은 컨벌루션 블록(ConvBlocks)을 활용한 경량 검출 헤드를 도입하여 속도와 모델 크기를 유지한다.

실험 결과

연구 질문

• RQ1 이중경로 백본 아키텍처가 저수준 세부 정보를 유지하면서도 고수준 의미를 유지함으로써 경량 객체 검출기의 특징 표현을 향상시킬 수 있는가?
• RQ2 경량 자기상관 모듈(LSCM)이 최소한의 계산 비용으로 전반적인 특징 모델링을 얼마나 향상시킬 수 있는가?
• RQ3 제안된 경량 교차상관 모듈(LCCM)이 표준 FPN 또는 PAFPN에 비해 다중 척도 특징 융합에서 얼마나 효과적인가?
• RQ4 정확도와 효율성의 균형을 고려할 때 LSCM에서 풀링 크기와 감소 비율의 최적 조합은 무엇인가?
• RQ5 제안된 DPNet가 MS COCO 및 Pascal VOC 2007과 같은 표준 벤치마크에서 정확도와 추론 속도 양면에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• DPNet는 MS COCO test-dev에서 30.5% AP를 기록하여 경량 실시간 검출기 분야에서 새로운 최신 기준을 수립했다.
• Pascal VOC 2007에서 DPNet는 81.5% mAP를 달성하여 기존의 경량 모델을 압도하면서도 높은 속도를 유지했다.
• 오직 1.04 GFLOPs와 2.5M 파라미터로 구성된 DPNet는 320×320 입력 이미지에서 164 FPS로 실행되어 높은 추론 효율성을 입증했다.
• 제거 분석 결과, 상향식 및 하향식 LCCM 경로를 모두 조합할 경우 FPN 대비 1.3% AP 향상, BFP 대비 1.1% 향상된 최고의 성능를 기록했으며, FLOPs는 최소한으로 유지되었다.
• 최적의 LSCM 설정은 풀링 크기 5와 감소 비율 8을 사용하며, 이는 28.8% AP를 기록하고 계산 비용은 낮게 유지(2.79M 파라미터, 1.20 GFLOPs).
• LCCM는 오직 2.42M 파라미터와 1.2 GFLOPs로 구성되었으며, AP, AP50, AP75에서 PAFPN 및 BFP를 모두 능가하면서도 훨씬 더 효율적인 성능를 보였다.