[논문 리뷰] Scale-Equalizing Pyramid Convolution for Object Detection

Xinjiang Wang, Shilong Zhang외 3명|arXiv (Cornell University)|2020. 05. 06.

Advanced Neural Network Applications참고 문헌 4인용 수 7

한 줄 요약

이 논문은 객체 검출에서 특징 피라미드 수준 간의 상호 스케일 상관관계를 명시적으로 모델링하는 3D 컨볼루션 모듈인 스케일-에คว알라이징 피라미드 컨볼루션(SEPC)을 제안한다. 커널 스트라이딩을 공간 및 스케일 차원에 맞게 적응시킴으로써, 최소한의 계산 비용으로 특징 표현을 향상시켜 COCO에서 4 AP 이상의 성능 향상을 이룬다. ResNeXt-101과 다중 스케일 훈련을 사용할 경우 50.1 AP를 달성한다.

ABSTRACT

Feature pyramid has been an efficient method to extract features at different scales. Development over this method mainly focuses on aggregating contextual information at different levels while seldom touching the inter-level correlation in the feature pyramid. Early computer vision methods extracted scale-invariant features by locating the feature extrema in both spatial and scale dimension. Inspired by this, a convolution across the pyramid level is proposed in this study, which is termed pyramid convolution and is a modified 3-D convolution. Stacked pyramid convolutions directly extract 3-D (scale and spatial) features and outperforms other meticulously designed feature fusion modules. Based on the viewpoint of 3-D convolution, an integrated batch normalization that collects statistics from the whole feature pyramid is naturally inserted after the pyramid convolution. Furthermore, we also show that the naive pyramid convolution, together with the design of RetinaNet head, actually best applies for extracting features from a Gaussian pyramid, whose properties can hardly be satisfied by a feature pyramid. In order to alleviate this discrepancy, we build a scale-equalizing pyramid convolution (SEPC) that aligns the shared pyramid convolution kernel only at high-level feature maps. Being computationally efficient and compatible with the head design of most single-stage object detectors, the SEPC module brings significant performance improvement ($>4$AP increase on MS-COCO2017 dataset) in state-of-the-art one-stage object detectors, and a light version of SEPC also has $\sim3.5$AP gain with only around 7% inference time increase. The pyramid convolution also functions well as a stand-alone module in two-stage object detectors and is able to improve the performance by $\sim2$AP. The source code can be found at https://github.com/jshilong/SEPC.

연구 동기 및 목표

• 기존의 특징 피라미드 융합 방법에서 상호 스케일 상관관계를 명시적으로 모델링하지 못하는 문제를 해결한다.
• 특징 피라미드 수준 간의 3차원(공간 및 스케일) 상호작용을 캡처함으로써 단일 단계 객체 검출기의 특징 표현을 향상시킨다.
• 단순한 피라미드 컨볼루션과 깊이 신경망이 생성하는 실제 특징 피라미드 사이의 불일치를 해결한다. 이는 이상적인 가우시안 피라미드와 다를 수 있다.
• 높은 성능 향상과 함께 상당한 계산 비용 없이도 작동하는 경량이며 호환 가능한 모듈을 개발한다.
• 단일 단계 및 이중 단계 검출기 모두에서 효과를 입증하며, 훈련 수정을 최소화하고도 최신 기술 수준의 성능을 달성한다.

제안 방법

• 특징 피라미드의 공간 및 스케일 차원을 모두 다루는 3D 컨볼루션인 피라미드 컨볼루션(PConv)을 제안한다. 이는 각 특징 맵 수준의 공간 크기에 비례하는 커널 스트라이딩을 사용한다.
• 스케일 업 스트라이딩 중 공간 커널 크기를 조정하여 수준 간 특징을 정렬함으로써, 비가우시안 피라미드에서의 비일치를 줄이는 스케일-에퀴발라이징 피라미드 컨볼루션(SEPC)을 도입한다.
• 모든 피라미드 수준에서 통계를 집계하는 통합 배치 정규화 레이어를 통합함으로써 훈련 안정성과 특징 품질을 향상시킨다.
• PConv가 RetinaNet 스타일의 헤드와 본질적으로 호환됨을 활용하며, 이는 가우시안 피라미드에 최적임이 입증되었다.
• 추론 시간이 약 7% 증가하는 것으로만 경량 SEPC 변형(SEPC-lite)을 설계하여 높은 성능를 유지한다.
• PConv와 SEPC를 단일 단계(예: RetinaNet, FCOS) 및 이중 단계 검출기(예: Faster R-CNN, Mask R-CNN)에 플러그인 모듈로 적용하여 광범위한 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 기존의 2D 융합 방법과 비교해, 공간 및 스케일 차원을 모두 다루는 명시적 3D 컨볼루션은 객체 검출의 특징 표현을 향상시킬 수 있는가?
• RQ2 단순한 피라미드 컨볼루션은 왜 깊이 신경망에서 생성된 실제 특징 피라미드에서는 성능이 떨어지며, 이와 같은 가우시안 피라미드와의 괴리 문제를 어떻게 완화할 수 있는가?
• RQ3 SEPC와 같은 3D 컨볼루션 모듈이 최소한의 계산 오버헤드로 검출 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 헤드 설계(예: RetinaNet)는 PConv와 어떻게 상호작용하는가? 왜 이는 가우시안 피라미드 유사한 특징 분포에 특히 적합한가?
• RQ5 PConv와 SEPC는 단일 단계 및 이중 단계 객체 검출기 모두에 효과적으로 적용될 수 있으며, 어떤 성능 향상을 이룰 수 있는가?

주요 결과

• SEPC는 ResNeXt-101을 사용해 MS-COCO2017에서 기준 RetinaNet 대비 4.7 AP 향상을 기록하며, 단일 스케일 테스트에서도 대부분의 이중 단계 검출기들을 능가한다.
• 더 넓은 훈련 스케일(480–960)을 적용했을 경우, SEPC는 COCO에서 50.1 AP를 달성하여, 단일 스케일 테스트를 위한 단일 단계 검출기 중 기록된 바 가장 높은 성능이다.
• SEPC-lite는 약 7%의 추론 시간 증가로 3.5 AP 향상을 기록하여 뛰어난 효율-정확도 트레이드오프를 보였다.
• PConv만으로도 Mask R-CNN에서 2.3 AP, Faster R-CNN에서 2.1 AP 향상을 기록하여 이중 단계 검출기 전반에 걸쳐 뛰어난 일반화 성능을 입증했다.
• SEPC의 성능 향상은 RetinaNet, FCOS, FSAF, Reppoints, FreeAnchor 등 여러 단일 단계 검출기에서 일관되게 관찰되었다.
• 연구 결과는 RetinaNet 헤드 설계가 가우시안 피라미드에 최적임을 확인하였으며, SEPC는 실제 특징 피라미드와 이상적인 가우시안 피라미드 사이의 격차를 효과적으로 메워낸다.