[논문 리뷰] ssFPN: Scale Sequence (S^2) Feature Based-Feature Pyramid Network for Object Detection

Hye-Jin Park, Youngju Choi외 2명|arXiv (Cornell University)|2022. 08. 24.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 스케일 시퀀스(S²) 특징 피라미드 네트워크인 ssFPN을 제안한다. 이는 FPN의 레벨 축을 따라 3D 컨볼루션을 적용하여 스케일에 강인한 특징을 추출함으로써 소형 객체 검출을 향상시킨다. FPN 레벨을 시간적 순서로 간주함으로써 레벨 간 상관관계를 포착하고 고해상도 특징 맵을 강화하여, Faster R-CNN에서 소형 객체의 AP를 최대 2.0% 향상시키고 YOLOv4-P5에서 1.3% 향상시킨다.

ABSTRACT

Feature Pyramid Network (FPN) has been an essential module for object detection models to consider various scales of an object. However, average precision (AP) on small objects is relatively lower than AP on medium and large objects. The reason is why the deeper layer of CNN causes information loss as feature extraction level. We propose a new scale sequence (S^2) feature extraction of FPN to strengthen feature information of small objects. We consider FPN structure as scale-space and extract scale sequence (S^2) feature by 3D convolution on the level axis of FPN. It is basically scale invariant feature and is built on high-resolution pyramid feature map for small objects. Furthermore, the proposed S^2 feature can be extended to most object detection models based on FPN. We demonstrate the proposed S2 feature can improve the performance of both one-stage and two-stage detectors on MS COCO dataset. Based on the proposed S2 feature, we achieve upto 1.3% and 1.1% of AP improvement for YOLOv4-P5 and YOLOv4-P6, respectively. For Faster RCNN and Mask R-CNN, we observe upto 2.0% and 1.6% of AP improvement with the suggested S^2 feature, respectively.

연구 동기 및 목표

• 객체 검출 모델에서 소형 객체에 대한 평균 정밀도(AP)가 낮은 문제를 해결하기 위해.
• 깊은 CNN 레이어에서의 특징 퇴화와 정보 손실을 극복하여 소형 객체 특징에 특히 영향을 미치는 문제를 해결하기 위해.
• FPN 특징 피라미드의 레벨 간 상관관계를 활용하여 모든 객체 스케일에서의 특징 표현을 향상시키기 위해.
• FPN 기반의 1단계 및 2단계 검출기 모두와 호환되는 플러그 앤 플레이 모듈을 설계하기 위해.

제안 방법

• FPN 레벨 축을 시간 유사 차원으로 간주하여 2D 특징 맵을 레벨 간 순서로 변환해 3D 텐서로 변환하고 순서 모델링을 수행한다.
• 스케일에 강인하고 다중 레벨의 맥락을 포착하는 스케일 시퀀스(S²) 특징을 추출하기 위해 3D 컨볼루션을 적용한다.
• 모든 FPN 특징 맵을 동일한 고해상도로 리사이징하여 일관된 3D 컨볼루션 입력을 확보하고 소형 객체 표현을 향상시킨다.
• 검출 헤드 추론 이전에 추출한 S² 특징을 고해상도 특징 맵(P3 등)에 연결한다.
• 2단계 검출기에서 S² 특징을 통합할 때 채널 차원을 조정하기 위해 1×1 컨볼루션을 사용한다.
• S² 모듈을 대부분의 FPN 기반 객체 검출기로 쉽게 확장할 수 있도록 설계하여 아키텍처 전체를 대체할 필요 없이 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 FPN 레벨 축을 순서로 모델링하면 소형 객체의 특징 표현이 향상되는가?
• RQ2 FPN 레벨 간 상관관계를 포착함으로써 모든 스케일에서 검출 성능이 향상되는가?
• RQ3 3D 컨볼루션 기반의 S² 특징 추출 기법이 객체 검출에서 스케일에 강인한 특징을 향상시킬 수 있는가?
• RQ4 S² 특징은 1단계 및 2단계 검출기와 같은 다양한 검출기 아키텍처에서 어떻게 성능을 발휘하는가?
• RQ5 기존 FPN 기반 검출기에 S² 특징을 통합할 경우 추론 효율성과 파라미터 오버헤드는 어떠한가?

주요 결과

• 제안된 S² 특징은 YOLOv4-P5에서 최대 1.3%의 AP 향상을, YOLOv4-P6에서는 1.1%의 AP 향상을 달성했다.
• Faster R-CNN과 Mask R-CNN에서는 각각 2.0%와 1.6%의 AP 향상을 기록했으며, 특히 소형 객체에서 가장 높은 성능 향상을 보였다.
• YOLOv4-P6에 S² 특징을 적용한 결과 소형 객체에서 가장 큰 AP 향상(1.1%)을 기록했고, 중간 크기 객체(0.3%)와 대형 객체(0.4%)에서도 향상이 있었다.
• 절단 분석을 통해 P3에 S² 특징을 연결할 경우 최고의 성능를 기록했으며, 계산 오버헤드도 최소화되었다.
• 런타임 분석 결과 배치 크기가 8인 V100에서 속도 저하가 미미했으며(1.7ms에서 8.9ms로), 추론 비용이 낮음을 확인했다.
• 모든 모델에서 AP50와 AP75가 향상되어 검출의 강건성 향상이 일관되게 확인되었다.