[논문 리뷰] SENetV2: Aggregated dense layer for channelwise and global representations

M. S. Narayanan|arXiv (Cornell University)|2023. 11. 17.

Advanced Image and Video Retrieval Techniques인용 수 18

한 줄 요약

SENetV2는 squeeze excitation ResNet 모듈 내에 다중 분기 밀집(집계 FC) 레이어를 도입하여 채널별 및 전역 표현을 향상시키고, 파라미터 증가에 비해 정확도를 개선합니다.

ABSTRACT

Convolutional Neural Networks (CNNs) have revolutionized image classification by extracting spatial features and enabling state-of-the-art accuracy in vision-based tasks. The squeeze and excitation network proposed module gathers channelwise representations of the input. Multilayer perceptrons (MLP) learn global representation from the data and in most image classification models used to learn extracted features of the image. In this paper, we introduce a novel aggregated multilayer perceptron, a multi-branch dense layer, within the Squeeze excitation residual module designed to surpass the performance of existing architectures. Our approach leverages a combination of squeeze excitation network module with dense layers. This fusion enhances the network's ability to capture channel-wise patterns and have global knowledge, leading to a better feature representation. This proposed model has a negligible increase in parameters when compared to SENet. We conduct extensive experiments on benchmark datasets to validate the model and compare them with established architectures. Experimental results demonstrate a remarkable increase in the classification accuracy of the proposed model.

연구 동기 및 목표

• 채널 차원의 스퀴즈 및 엑시테이션을 집계된(global) 학습과 결합하여 특징 표현을 향상시키려는 동기 부여.
• 전역 표현 학습을 확장하기 위해 다중 분기 밀집(집계 FC) 레이어를 도입한다.
• SaE(Squeeze Aggregated Excitation) 모듈을 잔차 블록에 삽입하여 복잡도 증가를 완만하게 하면서 성능을 향상시킨다.
• CIFAR-10, CIFAR-100 및 수정된 ImageNet에서 SENetV2를 SE 변형 및 ResNet/ResNeXt 베이스라인과 비교한다.
• 집계 FC 계층이 파라미터 증가를 관리하면서 분류 정확도를 향상시킨다는 것을 보여준다.

제안 방법

• SaE 모듈 제안: 스퀴즈(전역 풀링 + 낮은 차원의 고기수 FC)와 집계된 FC 가지를 결합한다.
• 엑시테이션 경로 내 다중 분기 밀집 레이어(카디널리티 = 4)를 사용하고 모양을 복원하기 전에 출력을 연결(concatenate)한다.
• SaE를 ResNet-형 잔차 모듈(SEnetV2)에 통합하고 SE 또는 ResNeXt 유사 구조와 비교한다.
• 표현 학습 이득과 파라미터 효율성의 균형을 위해 축소 크기 32 및 카디널리티 4를 유지한다.
• 수학적 형태를 제시: SaE 모듈은 x → F(x)를 따르며 잔차 경로 내의 집계를 설명하기 위해 x가 x + F(x · Ex(Σ Sq(x)))(및 변형)로 업데이트된다.

실험 결과

연구 질문

• RQ1 집계형 밀집(SaE) 모듈이 표준 SENet 및 ResNet 베이스라인 대비 정확도를 향상시키는가?
• RQ2 SENetV2가 CIFAR-10, CIFAR-100 및 수정된 ImageNet 데이터셋에서 SE-변형 및 ResNeXt 유도 아키텍처와 비교하여 어떤 성능을 보이는가?
• RQ3 카디널리티와 축소 크기가 SaE 모듈의 효율성과 파라미터 수에 어떤 영향을 미치는가?
• RQ4 SaE 모듈을 기존의 잔차 아키텍처에 큰 파라미터 오버헤드 없이 효과적으로 통합하여 성능을 높일 수 있는가?

주요 결과

• CIFAR-10에서 SENetV2는 Resnet 및 SE-Resnet 변형보다 유의미한 파라미터 증가에 그치면서도 Top-1 정확도가 더 높다.
• CIFAR-100에서 SENetV2는 SE-Resnet 및 일반 ResNet보다 정확도가 향상되며 깊이가 비슷하고 파라미터 변화도 moderate하다.
• 수정된 ImageNet에서 SENetV2(및 SExt 변형)는 ResNet 및 SE-ResNet 베이스라인보다 Top-1/Top-5가 높고, SEneXtV2가 테스트된 모델 중 최고 Top-1/Top-5를 달성한다.
• 실험 전반에 걸쳐 다중 분기 밀집(카디널리티 = 4) 구성은 파라미터 증가를 관리하면서 글로벌 표현 학습을 더 잘 제공한다.
• 전반적으로 SENetV2는 전통적 SENet보다 일관되게 뛰어나며 ResNeXt 유사 성능에 필적하거나 이를 상회하는 경향을 보이되, 복잡도 증가는 미미하다.