[논문 리뷰] Extended Feature Pyramid Network for Small Object Detection

Chunfang Deng, Mengmeng Wang외 2명|arXiv (Cornell University)|2020. 03. 16.

Advanced Neural Network Applications참고 문헌 40인용 수 24

한 줄 요약

이 논문은 소형 객체 검출을 향상시키기 위해 고해상도 피라미드 수준과 특징 텍스처 전달(FTT) 모듈을 도입한 확장된 기능 피라미드 네트워크(EFPN)를 제안한다. 이는 특징을 초해상도로 복원하고 미세한 세부 정보를 추출함으로써 성능을 향상시키며, 클래스 불균형 문제를 해결하기 위해 배경-전경 균형 손실 함수를 적용하여 Tsinghua-Tencent 100K 및 MS COCO 소형 객체 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 계산 및 메모리 사용 측면에서 효율적이다.

ABSTRACT

Small object detection remains an unsolved challenge because it is hard to extract information of small objects with only a few pixels. While scale-level corresponding detection in feature pyramid network alleviates this problem, we find feature coupling of various scales still impairs the performance of small objects. In this paper, we propose extended feature pyramid network (EFPN) with an extra high-resolution pyramid level specialized for small object detection. Specifically, we design a novel module, named feature texture transfer (FTT), which is used to super-resolve features and extract credible regional details simultaneously. Moreover, we design a foreground-background-balanced loss function to alleviate area imbalance of foreground and background. In our experiments, the proposed EFPN is efficient on both computation and memory, and yields state-of-the-art results on small traffic-sign dataset Tsinghua-Tencent 100K and small category of general object detection dataset MS COCO.

연구 동기 및 목표

• 특징 맵 내에서 공간적 표현이 제한된 소형 객체 검출 문제를 해결하기 위해 지속적인 과제를 다루기 위해.
• 기존 기능 피라미드 네트워크(FPN)에서 스케일 수준 간 특징 결합으로 인한 성능 저하를 극복하기 위해.
• 소형 객체의 기능 표현을 향상시키기 위해 전용 고해상도 피라미드 수준을 도입함으로써.
• 동시에 특징을 초해상도로 복원하고 지역 세부 정보를 추출할 수 있는 새로운 모듈을 통해 기능 품질을 향상시키기 위해.
• 새로운 손실 함수를 설계하여 학습 중 전경과 배경 영역 간 면적 불균형을 완화하기 위해.

제안 방법

• 소형 객체 검출을 위해 특별히 설계된 확장된 고해상도 피라미드 수준을 기능 피라미드 네트워크에 도입하기 위해.
• 저수준 특징을 초해상도로 복원하고 신뢰할 수 있는 지역 세부 정보를 추출하기 위해 특징 텍스처 전달(FTT) 모듈을 설계하기 위해.
• FTT를 기능 융합 경로에 통합하여 고해상도 수준에서 기능 품질을 향상시키기 위해.
• 전경과 배경 영역 간 불균형을 줄이기 위해 샘플링 전략을 조정하는 새로운 손실 함수를 제안하기 위해.
• 무거운 파rameter 확장이나 복잡한 연산을 피함으로써 계산 및 메모리 효율성을 유지하기 위해.
• 표준 검출 메트릭을 사용하여 Tsinghua-Tencent 100K 및 MS COCO와 같은 벤치마크 데이터셋에서 모델을 학습하고 평가하기 위해.

실험 결과

연구 질문

• RQ1 FPN 기반 검출기에서 전용 고해상도 피라미드 수준을 도입함으로써 소형 객체의 기능 표현이 향상되는가?
• RQ2 특징 텍스처 전달(FTT) 모듈이 소형 객체의 기능 품질 향상과 세부 정보 추출에 얼마나 기여하는가?
• RQ3 전경-배경 균형 손실 함수가 소형 객체 검출에서 클래스 불균형으로 인한 성능 저하를 효과적으로 완화하는가?
• RQ4 소형 객체 검출 벤치마크에서 EFPN은 최신 기술 수준의 방법들과 비교해 정확도와 효율성 측면에서 어떻게 성과를 내는가?
• RQ5 제안된 방법은 우수한 성능을 달성하면서도 높은 효율성을 유지할 수 있는가?

주요 결과

• EFPN은 소형 교통표지 데이터셋인 Tsinghua-Tencent 100K에서 최신 기술 수준 성능을 달성한다.
• EFPN은 MS COCO 데이터셋의 소형 객체 카테고리에서도 최신 기술 수준 결과를 도출한다.
• 제안된 EFPN은 계산 및 메모리 사용 측면에서 높은 효율성을 유지한다.
• 특징 텍스처 전달(FTT) 모듈은 기능 초해상도 복원과 지역 세부 정보 추출을 효과적으로 향상시킨다.
• 전경-배경 균형 손실 함수는 학습 중 면적 불균형 문제를 성공적으로 완화한다.
• 고해상도 피라미드 수준의 통합은 소형 객체 검출 정확도를 크게 향상시킨다.