[논문 리뷰] Selective Kernel Networks

Xiang Li, Wenhai Wang외 2명|arXiv (Cornell University)|2019. 03. 15.

Advanced Neural Network Applications참고 문헌 54인용 수 95

한 줄 요약

Selective Kernel Networks (SKNets) 은 CNN에서 커널 크기를 적응적으로 선택하도록 지시되는 동적 주의 메커니즘을 도입하여, ImageNet과 CIFAR에서 이전 아키텍처와 유사한 복잡도에 비해 향상된 객체 인식을 달성합니다.

ABSTRACT

In standard Convolutional Neural Networks (CNNs), the receptive fields of artificial neurons in each layer are designed to share the same size. It is well-known in the neuroscience community that the receptive field size of visual cortical neurons are modulated by the stimulus, which has been rarely considered in constructing CNNs. We propose a dynamic selection mechanism in CNNs that allows each neuron to adaptively adjust its receptive field size based on multiple scales of input information. A building block called Selective Kernel (SK) unit is designed, in which multiple branches with different kernel sizes are fused using softmax attention that is guided by the information in these branches. Different attentions on these branches yield different sizes of the effective receptive fields of neurons in the fusion layer. Multiple SK units are stacked to a deep network termed Selective Kernel Networks (SKNets). On the ImageNet and CIFAR benchmarks, we empirically show that SKNet outperforms the existing state-of-the-art architectures with lower model complexity. Detailed analyses show that the neurons in SKNet can capture target objects with different scales, which verifies the capability of neurons for adaptively adjusting their receptive field sizes according to the input. The code and models are available at https://github.com/implus/SKNet.

연구 동기 및 목표

• CNN 다중 스케일 특징 추출을 입력 자극에 반응하여 수용 영역 크기를 동적으로 조정함으로써 개선하려는 동기 부여.
• 다중 커널을 어텐션-가이던스 퓨전을 통해 결합하는 경량 Selective Kernel (SK) 컨볼루션을 제안합니다.
• SKNet이 ImageNet과 CIFAR에서 이전의 최첨단 모델과 비교해 비슷하거나 낮은 복잡도에서 더 높은 정확도를 달성함을 보여줍니다.
• 다양한 커널 구성과 어텐션 메커니즘이 성능에 미치는 영향을 애블레이션을 통해 보여줍니다.
• 선택 메커니즘이 레이어와 카테고리에 걸쳐 커널 크기를 어떻게 적응하는지 분석합니다.

제안 방법

• Selective Kernel (SK) 컨볼루션의 세 가지 작동: Split (다른 크기의 다중 커널 경로 생성), Fuse (브랜치 정보를 집계하고 채널 단위 통계 생성), Select (소프트 어텐션을 사용해 브랜치를 가중)합니다.
• ResNeXt-와 같은 백본에서 전통적인 대형 커널 블록을 SK 컨볼루션으로 대체하여 SK 유닛을 얻습니다.
• 퓨즈 단계의 병목을 제어하기 위해 감소 비율 r을 사용하고 감소 차원 d= max(C/r, L)의 한도 L를 설정합니다.
• SK 브랜치 내에 그룹/깊이분리/확장 컨볼루션을 적용하여 비용을 제어하면서 다중 스케일 정보를 수집합니다.
• 구성 가능한 경로 M, 그룹 G, 감소 r를 가진 SKNet 아키텍처(SKNet-50, SKNet-101 등)를 쌓습니다.
• ImageNet, CIFAR-10/100 및 경량 모델에서 평가하여 성능 및 매개변수 효율성 혜택을 보여줍니다.

실험 결과

연구 질문

• RQ1 단일 레이어 내에서 커널 크기를 적응적으로 선택하는 것이 고정 다중 브랜치 혹은 단일 브랜치 컨볼루션에 비해 인식 정확도를 향상시키나요?
• RQ2 대상 객체의 스케일이 달라지고 네트워크 깊이가 달라짐에 따라 SK 어텐션 메커니즘이 커널 크기 간 주의를 어떻게 할당하나요?
• RQ3 SK 컨볼루션이 ResNeXt/SENet 백본과 비교해 비슷하거나 더 낮은 매개변수 수 및 FLOPs로 정확도 향상을 제공하나요?
• RQ4 다양한 아키텍처와 데이터셋에 대해 최적의 SK 하이퍼파라미터(M, G, r)은 무엇인가요?
• RQ5 CIFAR처럼 더 작은 모델과 데이터셋에서도 SK nets 가 성능을 유지하거나 개선하나요?

주요 결과

• SKNet-50 은 ResNeXt-50 대비 비슷한 복잡도에서 탑-1 정확도를 향상시키며 커널 선택의 적응적 이점을 보여줍니다.
• SKNet 아키텍처는 유사 예산에서 ImageNet에서 다른 주의 기반 CNN 대비 최첨단 성능을 달성합니다.
• 애블레이션 연구에서 SK 어텐션이 있는 다중 커널 사용이 단순한 브랜치 합산보다 오차를 낮추며, 경로 수를 늘리는 것이 일반적으로 도움이 되나 M=2 또는 M=3 이후에는 수익 감소가 나타납니다.
• 브랜치 간의 더 부드러운 어텐션 메커니즘은 입력 스케일에 반응하는 적응적 수용 영역 크기를 가능하게 하며 특히 하위/중간 레이어에서 두드러집니다.
• SK 컨볼루션은 소형 모델의 성능을 향상시키고(예: ShuffleNetV2 변형) 컴팩트 아키텍처에서도 효과적입니다.
• CIFAR-10/100 결과는 SKNet-29가 ResNeXt/SENet 기준보다 더 적은 매개변수로 경쟁력 있는 혹은 더 나은 정확도를 달성함을 보여줍니다.