[논문 리뷰] Feature Pyramid Grids

Kai Chen, Yuhang Cao외 3명|arXiv (Cornell University)|2020. 04. 07.

Advanced Neural Network Applications참고 문헌 41인용 수 12

한 줄 요약

특징 피라미드 격자(FPG)는 정규 격자 구조의 병렬 하향식 경로를 갖는 깊고 다중 경로 기반의 특징 피라미드를 도입하며, 다방향 횡방향 연결을 통해 특징을 융합함으로써 FPN 및 NAS 최적화 기반 베이스라인과 유사한 계산 비용에서 객체 검출 정확도를 크게 향상시킨다. FPG는 신경망 아키텍처 탐색(NAS)이 필요 없이 RetinaNet, Faster R-CNN, Mask R-CNN, Cascade R-CNN에서 0.2%에서 2.3% 높은 mAP 성능을 달성한다.

ABSTRACT

Feature pyramid networks have been widely adopted in the object detection literature to improve feature representations for better handling of variations in scale. In this paper, we present Feature Pyramid Grids (FPG), a deep multi-pathway feature pyramid, that represents the feature scale-space as a regular grid of parallel bottom-up pathways which are fused by multi-directional lateral connections. FPG can improve single-pathway feature pyramid networks by significantly increasing its performance at similar computation cost, highlighting importance of deep pyramid representations. In addition to its general and uniform structure, over complicated structures that have been found with neural architecture search, it also compares favorably against such approaches without relying on search. We hope that FPG with its uniform and effective nature can serve as a strong component for future work in object recognition.

연구 동기 및 목표

• 비용이 많이 들지 않는 신경망 아키텍처 탐색(NAS)에 의존하지 않고 계층적 특징 표현을 향상시켜 다중 척도 객체 검출 문제를 해결하는 것.
• 다양한 검출 프레임워크에서 성능을 향상시키는 체계적이고 해석 가능하며 일반화 가능한 특징 피라미드 아키텍처를 설계하는 것.
• 깊고 밀도 높은 연결 피라미드 격자가 표준 FPN과 NAS 기반 아키텍처인 NAS-FPN을 능가할 수 있는지 탐색하는 것.
• 병렬 경로와 다방향 횡방향 연결이 특징 표현 품질과 검출 정확도에 미치는 영향을 평가하는 것.

제안 방법

• FPG는 p개의 병렬 하향식 경로로 이루어진 정규 격자를 구성하며, 각 경로는 백본에서 특징을 계층적으로 처리한다.
• 다방향 횡방향 연결—AcrossSame, AcrossUp, AcrossDown, AcrossSkip—을 통해 모든 경로 간에 스케일 간 및 스케일 내 정보 교환을 가능하게 한다.
• AcrossSkip는 직접 스킵 연결을 사용하며, 나머지 횡방향 연결은 컨볼루션 레이어와 ReLU 활성화 함수를 사용해 특징을 융합한다.
• 체계적인 아블레이션을 통해 필수 구성 요소를 규명하며, 밀도 높은 격자에서 시작하여 최소한의 효과적인 구조로 수축시킨다.
• FPG는 단일 단계(RetinaNet), 이중 단계(Faster R-CNN, Mask R-CNN), 그리고 계단식(Cascade R-CNN) 검출기들에 통합되어 평가된다.
• 실험은 FPN 및 NAS-FPN와의 공정한 비교를 위해 동일한 설정에서 수행되며, mAP, AP50, AP75, 그리고 소형, 중형, 대형 객체에 대한 AP를 메트릭으로 사용한다.

실험 결과

연구 질문

• RQ1 체계적으로 설계된, 탐색 기반 아님 특징 피라미드가 표준 FPN과 NAS 최적화 아키텍처를 모두 능가할 수 있는가?
• RQ2 병렬 경로와 다방향 횡방향 연결이 향상된 특징 표현과 검출 정확도에 기여하는 방식은 무엇인가?
• RQ3 FPG는 단일 단계, 이중 단계, 계단식 검출기 등 다양한 검출 프레임워크에 잘 일반화되는가?
• RQ4 FPN을 FPG로 교체할 경우 정확도와 계산 비용 간의 상충 관계는 어떻게 되는가?
• RQ5 높은 탐색 비용과 복잡한 아키텍처 없이도 FPG는 NAS-FPN을 초월할 수 있는가?

주요 결과

• 동일한 계산 비용에서 FPG는 RetinaNet에서 NAS-FPN보다 0.2% 높은 mAP 성능을 달성하여, 아키텍처 탐색 없이도 뛰어난 성능을 입증한다.
• Faster R-CNN에서 FPG는 NAS-FPN보다 mAP를 1.5% 향상시키며, 소형 및 가림된 객체 검출 성능도 향상된다.
• Mask R-CNN에서 FPG는 NAS-FPN보다 2.3% 높은 mAP 성능을 기록하며, 오분류 수가 줄어들고 소형 객체에 대한 마스크 예측 성능도 향상된다.
• Cascade R-CNN에서 FPG는 NAS-FPN보다 2.2% 높은 mAP 성능을 기록하여, 복잡한 검출 파이프라인에서도 강력한 일반화 능력을 보여준다.
• Faster R-CNN에서 FPG는 PA-FPN보다 +2.3 mAP 향상되며, 마찬가지로 Mask R-CNN에서는 +2.7 mAP 향상되며, FLOPs와 파라미터 수가 더 적은 조건에서도 성능이 뛰어나다.
• HRNet-W18와 결합했을 때 FPG는 HRNet-W18 + HR-FPN보다 mAP를 1.9% 향상시키며, 고해상도 백본과의 상호보완성을 보여준다.