[논문 리뷰] IPG-Net: Image Pyramid Guidance Network for Small Object Detection

Ziming Liu, Guangyu Gao외 2명|arXiv (Cornell University)|2019. 12. 02.

Advanced Neural Network Applications참고 문헌 30인용 수 7

한 줄 요약

이 논문은 깊이 있는 백본 레이어에 공간 정보가 풍부한 얕은 이미지 피라미드 특징을 경량 변환 및 적응형 융합 모듈을 통해 통합함으로써 특징 오차정렬과 정보 불균형을 완화하는 새로운 이미지 피라미드 가이던스 네트워크인 IPG-Net을 제안한다. 이 방법은 단일 스케일 추론을 사용하여 Pascal VOC 2007에서 85.9%의 mAP, MS COCO test-dev에서 45.7%의 mAP를 달성하여 최신 기준 성능을 기록한다.

ABSTRACT

For Convolutional Neural Network-based object detection, there is a typical dilemma: the spatial information is well kept in the shallow layers which unfortunately do not have enough semantic information, while the deep layers have a high semantic concept but lost a lot of spatial information, resulting in serious information imbalance. To acquire enough semantic information for shallow layers, Feature Pyramid Networks (FPN) is used to build a top-down propagated path. In this paper, except for top-down combining of information for shallow layers, we propose a novel network called Image Pyramid Guidance Network (IPG-Net) to make sure both the spatial information and semantic information are abundant for each layer. Our IPG-Net has two main parts: the image pyramid guidance transformation module and the image pyramid guidance fusion module. Our main idea is to introduce the image pyramid guidance into the backbone stream to solve the information imbalance problem, which alleviates the vanishment of the small object features. This IPG transformation module promises even in the deepest stage of the backbone, there is enough spatial information for bounding box regression and classification. Furthermore, we designed an effective fusion module to fuse the features from the image pyramid and features from the backbone stream. We have tried to apply this novel network to both one-stage and two-stage detection models, state of the art results are obtained on the most popular benchmark data sets, i.e. MS COCO and Pascal VOC.

연구 동기 및 목표

• 깊이 있는 컨볼루션 네트워크 기반 객체 검출기에서 얕은 레이어와 깊은 레이어 간의 정보 불균형 문제를 해결하기 위해, 얕은 레이어는 공간적 세부 정보를 유지하지만 의미 정보가 부족하고, 깊은 레이어는 공간 정밀도를 상실한다는 점을 고려한다.
• 특히 소형 객체 검출에 악영향을 미치는 깊은 컨볼루션 레이어에서의 공간 정보 손실로 인한 특징 오차정렬 문제를 완화한다.
• 가이드드 피처 주입을 통해 깊은 특징 맵에서 공간 세부 정보를 유지함으로써 소형 및 초소형 객체의 검출 성능을 향상시킨다.
• 기존 검출 프레임워크를 대체하지 않고도 유연하고 경량적인 모듈을 설계하여 아키텍처의 전반적인 개편 없이 성능을 향상시킨다.

제안 방법

• 소형 객체를 위한 공간 세부 정보를 유지하는 데 중점을 두고, 다중 스케일 이미지 피라미드에서 공간적으로 풍부한 특징을 추출하는 이미지 피라미드 가이던스(IPG) 변환 모듈을 도입한다.
• 백본 네트워크의 각 스테이지에 IPG 변환을 적용하여, 깊은 특징보다 더 공간적으로 정확한 가이던스 특징을 생성한다.
• 공유된 은닉 공간에서 덧셈, 곱셈, 연결 등의 연산을 사용하여 백본 특징과 IPG 특징을 정렬하고 융합하는 IPG 융합 모듈을 활용한다.
• 융합 이전에 백본 특징과 IPG 가이던스 특징 간의 호환성을 확보하기 위해 특징 투영과 차원 정렬을 수행한다.
• 절삭 실험 결과, ResNet 백본의 스테이지 3에 융합 모듈을 적용할 경우 최적의 성능을 내며 계산 비용이 최소화됨을 확인하여 이 위치를 선택한다.
• One-stage(예: RetinaNet) 및 Two-stage(예: Faster R-CNN, Cascade R-CNN) 검출기 모두에 호환되며, 넓은 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 깊은 백본 레이어에 이미지 피라미드 특징을 주입함으로써 소형 객체 검출에 대한 특징 오차정렬을 줄이고 정확도를 향상시킬 수 있는가?
• RQ2 제안된 IPG-Net은 표준 FPN 및 기타 특징 융합 방법과 비교해 공간 정보 및 의미 정보를 얼마나 잘 유지하는가?
• RQ3 IPG 융합 전략은 one-stage 및 two-stage 검출기 모두에서 일관된 성능 향상을 가져오는가?
• RQ4 ResNet 기반 백본에서 IPG 모듈의 최적의 융합 위치와 깊이는 무엇인가?
• RQ5 단일 스케일 추론을 사용할 때 IPG-Net은 MS COCO 및 Pascal VOC와 같은 표준 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• IPG-Net은 다중 스케일 추론을 사용하여 Pascal VOC 2007 테스트 세트에서 85.9%의 mAP를 기록하여 새로운 최고 기록을 수립한다.
• 단일 스케일 추론을 사용할 경우, IPG-Net은 MS COCO test-dev에서 45.7%의 mAP를 달성하여 기존 one-stage 및 two-stage 검출기들을 초월한다.
• IPG-Net은 Faster R-CNN의 성능을 다중 스케일 테스트에서 각각 0.7% mAP(79.8%에서 80.5%) 및 1.9% mAP(81.6%로) 향상시켰다.
• One-stage 네트워크인 RetinaNet에서는 두 번째 모델보다 더 큰 기여를 하였으며, 이는 one-stage 네트워크가 깊은 특징에 더 의존하기 때문이다.
• 절삭 실험 결과, ResNet의 스테이지 3에서 IPG 특징을 융합할 경우 최적의 성능를 내며 계산 오버헤드가 최소화됨을 확인하였다.
• IPG 융합 모듈은 덧셈, 곱셈, 연결 등의 다양한 융합 연산에서 효과적이며, 특히 연결 연산에서 가장 일관된 성능 향상을 보였다.