[논문 리뷰] More ConvNets in the 2020s: Scaling up Kernels Beyond 51x51 using Sparsity

Shiwei Liu, Tianlong Chen외 8명|University of Twente Research Information|2022. 07. 07.

Advanced Neural Network Applications인용 수 86

한 줄 요약

논문은 Sparse Large Kernel Network (SLaK)을 소개하며, 51×51의 분해된 대형 커널을 희소 그룹과 동적 희소성을 갖춘 순수 CNN으로 사용하여 31×31을 넘어 확장하고, ImageNet 및 하위 비전 작업에서 Transformer와 동등하거나 우수한 성능을 달성한다.

ABSTRACT

Transformers have quickly shined in the computer vision world since the emergence of Vision Transformers (ViTs). The dominant role of convolutional neural networks (CNNs) seems to be challenged by increasingly effective transformer-based models. Very recently, a couple of advanced convolutional models strike back with large kernels motivated by the local-window attention mechanism, showing appealing performance and efficiency. While one of them, i.e. RepLKNet, impressively manages to scale the kernel size to 31x31 with improved performance, the performance starts to saturate as the kernel size continues growing, compared to the scaling trend of advanced ViTs such as Swin Transformer. In this paper, we explore the possibility of training extreme convolutions larger than 31x31 and test whether the performance gap can be eliminated by strategically enlarging convolutions. This study ends up with a recipe for applying extremely large kernels from the perspective of sparsity, which can smoothly scale up kernels to 61x61 with better performance. Built on this recipe, we propose Sparse Large Kernel Network (SLaK), a pure CNN architecture equipped with sparse factorized 51x51 kernels that can perform on par with or better than state-of-the-art hierarchical Transformers and modern ConvNet architectures like ConvNeXt and RepLKNet, on ImageNet classification as well as a wide range of downstream tasks including semantic segmentation on ADE20K, object detection on PASCAL VOC 2007, and object detection/segmentation on MS COCO.

연구 동기 및 목표

• 31×31을 넘어서는 극히 큰 커널로 ConvNets의 확장을 동기화하여 장거리 의존성을 포착하면서도 국소성은 보존한다.
• 커널 분해와 희소성을 활용하여 대형 커널을 가능하게 하는 실용적인 학습 레시피를 개발한다.
• 51×51 커널을 갖는 순수 CNN인 SLaK를 구축하고 ImageNet 및 다운스트림 작업 전반에서 최신 CNN 및 Transformer와 비교 평가한다.

제안 방법

• 큰 M×M 커널을 두 개의 병렬 직사각형 커널 M×N과 N×M(단 N < M)로 분해하여 장거리 의존성과 국소 세부 정보를 균형 있게 조정한다.
• 조밀한 커널을 희소 그룹으로 대체하고 학습 중 동적 희소성을 적용하여 연결을 가지치고 성장시켜 폭 확장을 가능하게 한다.
• 분해 후 5×5 병렬 분기를 사용하고 합산하기 전에 BatchNorm을 적용하여 학습을 안정화한다.
• ConvNeXt-스타일 아키텍처를 계층별로 커널 크기를 [51, 49, 47, 13]로 증가시키는 한편 40%의 희소성과 폭 확장(1.3×)으로 희소화를 적용한다.
• 확립된 데이터 증강 및 규제 프로토콜을 따라 확장된 에폭(ImageNet-1K 300)으로 모델을 학습하고 ConvNeXt 및 RepLKNet 기반선과 비교한다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 CNN에서 31×31을 넘어서는 극히 큰 커널을 효과적으로 학습시킬 수 있는가?
• RQ2 커널 분해와 희소 그룹이 Transformer 기반 아키텍처와 비교해 확장 가능하고 고성능인 대형 커널 CNN을 가능하게 하는가?
• RQ3 매우 큰 커널에 대한 희소 학습 동역학이 정확도, FLOP, 매개변수 효율성에 미치는 영향은 무엇인가?
• RQ4 ImageNet을 넘어서 고해상도 입력 및 하류 비전 작업(세분화, 탐지)에서 대형 커널이 이점을 제공하는가?
• RQ5 다양한 비전 벤치마크에서 SLaK가 최첨단 CNN 및 Transformer와 어떻게 비교되는가?

주요 결과

• N=5인 M×N 및 N×M 분해 전략은 61×61 커널로의 확장을 가능하게 하며, 단순한 대형 커널보다 향상된 성능을 제공한다.
• 동적 희소성과 폭 확장(40% 희소성, 1.3× 폭)은 주목할 만한 정확도 상승과 FLOPs 감소를 가져오며, 120 에폭 실험에서 ConvNeXt 백본의 51×51 커널에서 81.6% top-1을 달성한다.
• ImageNet-1K에서 SLaK-T는 82.5%, SLaK-B는 84.0%(224×224)를 달성하며 ConvNeXt 및 RepLKNet 기반선과 비슷하거나 더 높은 효율성을 보이고, 384×384에서 SLaK-B는 85.5%에 도달한다.
• ADE20K에서 더 큰 커널은 더 높은 mIoU를 산출하며, 51×51의 SLaK-T는 46.2로 ConvNeXt-T의 31×31(RepLKNet) 45.0을 상회하고 300에폭 학습에서 ConvNeXt-S를 능가한다.
• PASCAL VOC 2007 객체 탐지에서 51×51의 SLaK-T는 82.7 mAP로 ConvNeXt-T-7×7의 80.6 및 RepLKNet 31×31의 81.3보다 높다.
• MS COCO에서 SLaK-T(51×51)는 더 긴 미세조정으로 48.4 APbox 및 51.3 APbox를 달성하여 여러 Dense-kernel 기반선을 능가하면서도 유사하거나 더 낮은 FLOPs를 사용한다.