[논문 리뷰] CE-FPN: Enhancing Channel Information for Object Detection

Yihao Luo, Xiang Cao외 6명|arXiv (Cornell University)|2021. 03. 19.

Advanced Neural Network Applications인용 수 10

한 줄 요약

이 논문은 객체 검출에서 채널 정보를 향상시키기 위해 서브픽셀 스위프 퓨전, 서브픽셀 컨텍스트 강화, 채널 주의도 가이드 모듈을 도입한 새로운 피처 피라미드 네트워크인 CE-FPN을 제안한다. 이러한 구성 요소들은 채널 감소 손실과 앨리어싱 효과를 완화시켜 최소한의 계산 비용으로 특징 표현을 향상시키며, MS COCO에서 37.5 AP를 달성하여 기준 FPN 및 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

Feature pyramid network (FPN) has been an effective framework to extract multi-scale features in object detection. However, current FPN-based methods mostly suffer from the intrinsic flaw of channel reduction, which brings about the loss of semantical information. And the miscellaneous fused feature maps may cause serious aliasing effects. In this paper, we present a novel channel enhancement feature pyramid network (CE-FPN) with three simple yet effective modules to alleviate these problems. Specifically, inspired by sub-pixel convolution, we propose a sub-pixel skip fusion method to perform both channel enhancement and upsampling. Instead of the original 1x1 convolution and linear upsampling, it mitigates the information loss due to channel reduction. Then we propose a sub-pixel context enhancement module for extracting more feature representations, which is superior to other context methods due to the utilization of rich channel information by sub-pixel convolution. Furthermore, a channel attention guided module is introduced to optimize the final integrated features on each level, which alleviates the aliasing effect only with a few computational burdens. Our experiments show that CE-FPN achieves competitive performance compared to state-of-the-art FPN-based detectors on MS COCO benchmark.

연구 동기 및 목표

• FPN 기반 객체 검출기에서 발생하는 채널 감소 문제로 인한 의미 정보 손실을 해결하기 위해.
• 피처 피라미드 네트워크에서 직접적인 스케일 간 피처 융합으로 인해 발생하는 앨리어싱 효과를 줄이기 위해.
• 고수준의 백본 피처에서 풍부한 채널 정보를 최대한 활용하여 특징 표현을 향상시키기 위해.
• 계산 비용을 크게 증가시키지 않으면서 성능을 향상시키는 경량 모듈을 설계하기 위해.
• 제안된 모듈이 다양한 FPN 기반 검출기와 백본 네트워크에 걸쳐 일반화 가능한지를 검증하기 위해.

제안 방법

• 서브픽셀 스위프 퓨전(SSF)은 서브픽셀 컨볼루션을 활용해 업샘플링과 채널 강화를 동시에 수행하여 백본으로부터 고차원 피처 맵을 유지한다.
• 서브픽셀 컨텍스트 강화(SCE)는 최고 수준의 피처 맵에서 서브픽셀 컨볼루션을 사용해 다양한 수축장(Receptive Field)의 컨텍스트 피처를 추출하고 융합하여 깊이 증가 없이 표현력을 향상시킨다.
• 채널 주의도 가이드 모듈(CAG)은 융합 맵에서 채널별 주의도 가중치를 계산하고 각 수준의 피처를 보정하는 데 적용함으로써 낮은 오버헤드로 앨리어싱 효과를 감소시킨다.
• 표준 1×1 컨볼루션과 선형 업샘플링을 피하고, 채널의 풍부함과 공간 해상도를 유지하기 위해 서브픽셀 연산을 사용한다.
• 모든 구성 요소는 통합된 FPN 프레임워크에 통합되어 표준 FPN 구성 요소를 채널 강화형 대체품으로 교체한다.
• 설계는 효율성을 우선시하며, 표준 FPN 대비 FLOPs와 파라미터 수 증가 폭이 극히 미미하다.

실험 결과

연구 질문

• RQ1 서브픽셀 컨볼루션을 FPN 내에서 피처 업샘플링 과정에서 채널 정보를 강화하는 데 효과적으로 재사용할 수 있는가?
• RQ2 서브픽셀 연산을 통해 풍부한 채널 정보를 지닌 고수준 피처 맵을 활용하면 검출 성능이 향상되는가?
• RQ3 융합된 피처 맵에 의해 가이드되는 채널 주의도 메커니즘은 스케일 간 피처 융합에서 앨리어싱 효과를 줄일 수 있는가?
• RQ4 제안된 모듈은 인fer런스 속도를 유지하면서 MS COCO에서 성능을 얼마나 향상시키는가?
• RQ5 제안된 구성 요소들은 다양한 FPN 기반 검출기와 백본 네트워크에 걸쳐 일반화되는가?

주요 결과

• CE-FPN은 MS COCO val-2017에서 37.5 AP를 달성하여 기준 FPN(36.1 AP) 대비 1.4 AP 향상되었다.
• 서브픽셀 컨텍스트 강화(SCE) 모듈은 PSPNet 대비 0.3 AP, CEM 대비 0.2 AP 높은 성능을 기록하여 뛰어난 컨텍스트 표현 능력을 입증했다.
• 채널 주의도 가이드 모듈(CAG)은 기준 모델 대비 1.0 AP 향상시키며, 통합 전용 및 부분별 주의도 설정보다 뛰어난 성능을 보였다.
• 전체 CE-FPN 모델은 기준 모델 대비 FLOPs가 0.7% 증가하고 파라미터 수는 0.1% 증가하여 높은 효율성을 보였다.
• ResNet-50를 사용할 경우 인퍼런스 속도는 10.5 fps에서 9.8 fps로 뿐만 아니라 6.67% 감소하였으며, AugFPN의 17.2% 감소보다 우수한 성능을 보였다.
• 제거 실험 결과 $F_5$와 $P_5$를 제거해도 성능 저하가 발생하지 않아 제안된 모듈이 여분의 구성 요소 없이도 효과적임을 입증했다.