[논문 리뷰] Centralized Feature Pyramid for Object Detection

Quan Yu, Dong Zhang외 2명|arXiv (Cornell University)|2022. 10. 05.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 객체 검출을 위한 중심화된 특징 피라미드(CFP)를 제안하며, 경량화된 MLP와 학습 가능한 시각적 중심을 통해 전역적인 장거리 의존성과 국소적인 모서리 영역을 명시적으로 모델링함으로써 특징 표현을 향상시킨다. 상향식으로 특징 피라미드에 전역 중심 규제를 적용함으로써, CFP는 MS-COCO에서 YOLOv5 및 YOLOX 기반 모델 전반에 걸쳐 일관된 mAP 향상을 달성하며, 최대 2.7%의 mAP 향상과 함께 EfficientDet-D3보다 1.8배 빠른 추론 속도를 기록한다.

ABSTRACT

Visual feature pyramid has shown its superiority in both effectiveness and efficiency in a wide range of applications. However, the existing methods exorbitantly concentrate on the inter-layer feature interactions but ignore the intra-layer feature regulations, which are empirically proved beneficial. Although some methods try to learn a compact intra-layer feature representation with the help of the attention mechanism or the vision transformer, they ignore the neglected corner regions that are important for dense prediction tasks. To address this problem, in this paper, we propose a Centralized Feature Pyramid (CFP) for object detection, which is based on a globally explicit centralized feature regulation. Specifically, we first propose a spatial explicit visual center scheme, where a lightweight MLP is used to capture the globally long-range dependencies and a parallel learnable visual center mechanism is used to capture the local corner regions of the input images. Based on this, we then propose a globally centralized regulation for the commonly-used feature pyramid in a top-down fashion, where the explicit visual center information obtained from the deepest intra-layer feature is used to regulate frontal shallow features. Compared to the existing feature pyramids, CFP not only has the ability to capture the global long-range dependencies, but also efficiently obtain an all-round yet discriminative feature representation. Experimental results on the challenging MS-COCO validate that our proposed CFP can achieve the consistent performance gains on the state-of-the-art YOLOv5 and YOLOX object detection baselines.

연구 동기 및 목표

• 기존 특징 피라미드가 층 내 특징 조절, 특히 다수의 예측 작업에 핵심적인 역할을 하는 모서리 영역을 간과하는 한계를 해결하기 위해.
• 통합된 프레임워크 내에서 전역적인 장거리 의존성과 국소적인 모서리 단서를 명시적으로 모델링하여 특징 표현을 향상시키기 위해.
• 계산 비용을 증가시키지 않으면서도 최신 기술 수준의 객체 검출기 성능을 향상시킬 수 있는 경량화되고 효율적이며 일반화 가능한 방법을 개발하기 위해.
• 시각적 중심 정보를 기반으로 한 전역적으로 명시적인 중심화된 메커니즘을 도입하여 특징 피라미드의 특징 조절을 향상시키기 위해.

제안 방법

• 전역적인 장거리 의존성을 캡처하기 위해 경량화된 MLP를 사용하고, 병렬적으로 학습 가능한 시각적 중심을 활용하여 국소적인 모서리 영역을 모델링하는 명시적 시각적 중심(EVC) 모듈을 제안한다.
• 가장 깊은 층 내 시각적 중심을 사용하여 상향식으로 얕은 특징을 조절하는 전역 중심 규제(GCR) 메커니즘을 도입한다.
• 깊은 특징에서 유도된 명시적 시각적 중심이 피라미드 전반에서 얕은 특징의 향상에 지시하는 상향식 특징 정제 전략을 활용한다.
• YOLOv5 및 YOLOX와 같은 기존 특징 피라미드 아키텍처에 EVC와 GCR를 통합하며, 백본을 수정하지 않는다.
• 공간적 모서리에 적응적으로 주목하는 학습 가능한 시각적 중심 메커니즘을 활용하여 특징의 분류 능력 있는 국소적 세부 정보를 유지한다.
• CFP 모듈을 플러그 앤 플레이 방식으로 통합하여, 다양한 YOLO 기반 검출기 전반에 걸쳐 일관된 성능 향상을 달성한다.

실험 결과

연구 질문

• RQ1 전역적인 장거리 의존성과 국소적인 모서리 영역을 명시적으로 모델링하면 객체 검출에서 특징 표현이 향상되는가?
• RQ2 시각적 중심 정보를 기반으로 한 중심화된 규제 메커니즘이 상향식 방식으로 특징 피라미드 성능을 향상시키는가?
• RQ3 제안된 CFP 방법이 FLOPs를 증가시키지 않으면서도 다양한 YOLO 기반 객체 검출 모델 전반에 걸쳐 일관된 mAP 향상을 달성할 수 있는가?
• RQ4 기본 모델 및 주의 기반 방법에 비해 CFP는 소형 또는 부분적으로 가려진 객체 검출에 얼마나 효과적인가?
• RQ5 EVC와 GCR의 통합이 다수 예측 작업에서 특징의 분류 능력 향상과 맥락 이해를 얼마나 향상시키는가?

주요 결과

• CFP는 MS-COCO에서 YOLOv4-CSP보다 최대 2.7% 높은 mAP 성능을 기록하며, 다양한 모델 스케일에서 일관된 향상을 보였다.
• CFP${}_{\textrm{YOLOX-L}}$는 49.40%의 mAP를 기록하여 YOLOX-L보다 1.6% 높으며, EfficientDet-D3보다 1.8배 빠른 추론 속도를 확보했다.
• CFP${}_{\textrm{YOLOv5-M}}$는 EfficientDet-D2와 동일한 평균 정밀도를 기록했지만, 추론 속도는 1.5배 빠르게 구현했다.
• 정성적 결과 분석을 통해 CFP는 기본 모델이 실패하는 경우(예: 캐비닛 안의 컵, 먼 곳에 있는 점박이 무두)에도 효과적으로 가려진 또는 먼 객체를 검출할 수 있었다.
• EVC 모듈은 복잡한 환경에서의 가림이나 조명 변화로 인한 맥락 이해 부족으로 인한 검출 실패를 줄였다.
• GCR 메커니즘은 깊은 시각적 중심 신호를 활용하여 얕은 특징을 규제함으로써 특징의 분류 능력 향상을 성공적으로 달성했으며, 정위치 및 분류 정확도 향상에 기여했다.