[논문 리뷰] Pyramidal Convolution: Rethinking Convolutional Neural Networks for Visual Recognition

Ionuţ Cosmin Duţă, Li Liu외 2명|arXiv (Cornell University)|2020. 06. 20.

Advanced Neural Network Applications참고 문헌 51인용 수 138

한 줄 요약

PyConv는 파라미터 수를 늘리지 않고 다양한 공간 크기와 깊이에서 입력을 처리하는 다중 스케일 커널 피라미드를 생성하여 분류, 세분화 및 관련 작업에서 성능을 향상시킵니다.

ABSTRACT

This work introduces pyramidal convolution (PyConv), which is capable of processing the input at multiple filter scales. PyConv contains a pyramid of kernels, where each level involves different types of filters with varying size and depth, which are able to capture different levels of details in the scene. On top of these improved recognition capabilities, PyConv is also efficient and, with our formulation, it does not increase the computational cost and parameters compared to standard convolution. Moreover, it is very flexible and extensible, providing a large space of potential network architectures for different applications. PyConv has the potential to impact nearly every computer vision task and, in this work, we present different architectures based on PyConv for four main tasks on visual recognition: image classification, video action classification/recognition, object detection and semantic image segmentation/parsing. Our approach shows significant improvements over all these core tasks in comparison with the baselines. For instance, on image recognition, our 50-layers network outperforms in terms of recognition performance on ImageNet dataset its counterpart baseline ResNet with 152 layers, while having 2.39 times less parameters, 2.52 times lower computational complexity and more than 3 times less layers. On image segmentation, our novel framework sets a new state-of-the-art on the challenging ADE20K benchmark for scene parsing. Code is available at: https://github.com/iduta/pyconv

연구 동기 및 목표

• 표준 CNN에서 고정 크기 커널과 제한된 수용 영역의 한계 해결.
• 매개변수 효율성을 보존하는 다중 스케일, 다중 깊이 커널 연산자(PyConv) 개발.
• 이미지 분류, 비디오 행동 인식, 객체 탐지 및 의미론적 분할에서 PyConv의 효과 증명.
• 핵심 시각 인식 벤치마크에서 baselines를 능가하는 PyConvResNet, PyConvHGResNet, PyConvSegNet 아키텍처 제공.

제안 방법

• PyConv를 레벨 간 공간 크기가 증가하고 깊이가 감소하는 커널 피라미드로 정의.
• 레벨별 깊이를 제어하고 표준 컨볼루션과의 매개변수 비를 유지하기 위해 그룹 컨볼루션으로 PyConv 구현.
• PyConv를 잔차 병목 블록에 삽입하여 PyConvResNet 및 PyConvHGResNet 아키텍처 형성.
• 의미론적 분할을 위한 PyConvPH(LocalPyConv, GlobalPyConv, Merge 블록)을 제안하여 지역 및 글로벌 다중 스케일 문맥 포착.
• ImageNet 및 ADE20K에서 ResNet 베이스라인과의 성능 비교 및 매개변수/ FLOP 예산 분석.

실험 결과

연구 질문

• RQ1 PyConv가 표준 합성곱과 유사한 매개변수 수와 계산 비용을 유지하면서 인식 성능을 향상시킬 수 있는가?
• RQ2 다중 스케일, 다중 깊이 커널 처리가 CNN 백본에 통합될 때 다양한 비전 작업(분류, 분할, 탐지, 비디오)에 이점이 있는가?
• RQ3 최적의 정확도와 효율성을 위해 네트워크 단계 전반에 걸친 커널 크기, 깊이 및 그룹화 구성을 어떻게 해야 하는가?
• RQ4 다중 스케일 분할 헤드(PyConvPH)가 ADE20K에서 기존 분할 헤드를 능가할 수 있는가?

주요 결과

네트워크	Top-1	Top-5	매개변수	GFLOPs
ResNet (baseline) 50	23.88	7.06	25.56	4.14
PyConvResNet 50	22.12	6.20	24.85	3.88
PyConvHGResNet 50	21.52	5.94	25.23	4.61
PyConvResNet 101	20.99	5.53	42.31	5.27

• PyConv 기반 네트워크가 매개변수 수와 FLOPs가 적은 상태로 ImageNet에서 ResNet 베이스라인을 능가(예: PyConvResNet-50: top-1 22.12%, 24.85M params, 3.88 GFLOPs).
• PyConvHGResNet-50은 더 강력한 단일 모델 정확도(top-1 21.52%)를 달성.
• 다중 스케일 커널을 통한 효과적인 다운샘플링으로 추가 비용 없이 번역 불변성을 향상시킴.
• PyConvPH를 포함한 PyConvSegNet 프레임워크가 ADE20K에서 장면 파싱에 대해 경쟁력 있고 강한 결과를 보임.
• 깊이가 다른 범위에서 PyConv 변형이 ResNet 대비 더 빠르게 수렴하고 검증 정확도가 더 높게 나타남.
• 단계별로 커널 크기를 증가시키면(예: 9x9, 7x7, 5x5, 3x3) 적절한 그룹화와 함께 매개변수를 늘리지 않고도 일관된 성능 향상을 얻을 수 있음.