[논문 리뷰] Feature Pyramid Networks for Object Detection

Tsung-Yi Lin, Piotr Dollár외 4명|arXiv (Cornell University)|2016. 12. 09.

Advanced Neural Network Applications참고 문헌 34인용 수 454

한 줄 요약

이 논문은 단일 ConvNet 내에서 빠르고 시맨틱이 강한 다중 스케일 피처 피라미드(FPN)를 구축하여 단일 스케일 테스트 효율성을 유지하면서 탐지 및 분할을 개선합니다. Faster R-CNN 및 Faster R-CNN 변형을 사용하여 단일 입력 이미지 스케일만으로 COCO에서 최첨단 단일 모델 결과를 달성합니다.

ABSTRACT

Feature pyramids are a basic component in recognition systems for detecting objects at different scales. But recent deep learning object detectors have avoided pyramid representations, in part because they are compute and memory intensive. In this paper, we exploit the inherent multi-scale, pyramidal hierarchy of deep convolutional networks to construct feature pyramids with marginal extra cost. A top-down architecture with lateral connections is developed for building high-level semantic feature maps at all scales. This architecture, called a Feature Pyramid Network (FPN), shows significant improvement as a generic feature extractor in several applications. Using FPN in a basic Faster R-CNN system, our method achieves state-of-the-art single-model results on the COCO detection benchmark without bells and whistles, surpassing all existing single-model entries including those from the COCO 2016 challenge winners. In addition, our method can run at 5 FPS on a GPU and thus is a practical and accurate solution to multi-scale object detection. Code will be made publicly available.

연구 동기 및 목표

• 다양한 객체 규모에 걸친 강건한 객체 탐지를 촉진한다.
• ConvNet의 고유한 피라미드형 피처 계층 구조를 활용하여 모든 스케일에서 고수준 시맨틱 피처를 생성한다.
• 비용이 큰 이미지 피라미드를 피하면서 빠르고 엔드-투-엔드로 학습 가능한 피처 피라미드를 개발한다.

제안 방법

• 백본 피처 맵(C2–C5)으로부터 다중 스케일 피처 피라미드(P2–P5)를 만들기 위해 바텀-업(bottom-up), 탑다운(top-down), 그리고 측면(lateral) 연결을 도입한다.
• 상위 수준 시맨틱 맵을 업샘플링하고 대응하는 하위 레벨 맵과 1x1 측면 연결 및 3x3 보정으로 융합한다.
• RPN 및 Fast R-CNN용으로 피라미드 각 레벨에 동일한 탐지 헤드(피라미드 레벨 간 공유)를 부착하여 다중 스케일 제안 및 탐지를 가능하게 한다.
• 그리드 기반 다중 스케일 탐지기에 비유된 로그 스케일 매핑을 사용하여 RoI를 피라미드 레벨에 공간적 범위로 할당한다.
• 피처화된 이미지 피라미드의 메모리 부담을 피하면서 단일 이미지 스케일에서 엔드-투-엔드 학습한다.
• 각 피라미드 레벨에 작고 간단한 MLP 헤드를 두어 피라미드를 분할 제안으로 확장한다.

실험 결과

연구 질문

• RQ1 ConvNet 내부에 구축된 상향식(top-down) 및 측면 연결 기반 피라미드가 이미지 피라미드의 비용 없이 다중 스케일에 걸쳐 풍부한 시맨틱 피처를 제공할 수 있는가?
• RQ2 단일 스케일 기준선과 비교하여 모든 피라미드 수준에서의 다중 스케일 예측이 영역 제안 및 객체 탐지를 개선하는가, 특히 작은 객체에 대해?
• RQ3 피라미드 레벨 전역에서 탐지 헤드를 공유하는 것이 효과적인가, 그리고 피처 공유가 학습 및 추론 시간에 어떤 영향을 미치는가?

주요 결과

• FPN은 단일 스케일 기준선에 비해 영역 제안 재현율과 탐지 지표를 크게 향상시킨다(예: AR 1k가 8.0 포인트 향상; COCO-스타일 AP가 2.3 포인트 향상; PASCAL-스타일 AP가 3.8 포인트 향상, 강력한 단일 스케일 Faster R-CNN 기준 대비).
• 측면 연결을 가진 탑다운 보강을 사용하면 다중 스케일 피처의 품질이 더 높아지고 이러한 연결이 없는 변형보다 우수하다.
• RPN 및 Fast/Faster R-CNN과 통합될 때, FPN은 COCO minival/test-dev에서 경쟁력 있거나 우수한 AP를 달성하고, 이미지 피라미드 없이 당시 최첨단 단일 모델 결과를 능가한다.
• 이 방법은 경량의 엔드-투-엔드 학습 가능한 피라미드를 사용한 탐지 작업에서 GPU당 약 6 FPS 정도의 비교적 빠른 속도로 실행된다.
• FPN 기반 시스템은 작은 객체에 대해 상당한 이점을 보여주며(작은 객체의 AP가 현저히 향상), 단일 스케일 기준선에 비해 전체 속도를 유지하거나 향상시킨다.
• 이 프레임워크는 분할 제안으로 일반화되며, 이미지 피라미드 기반 방법보다 제안 품질과 속도를 개선한다.