[논문 리뷰] Competitive Inner-Imaging Squeeze and Excitation for Residual Network

Yang Hu, Guihua Wen외 4명|arXiv (Cornell University)|2018. 07. 24.

Advanced Neural Network Applications참고 문헌 44인용 수 46

한 줄 요약

논문은 잔여(residual)와 아이덴티티(identity) 채널 관계를 함께 모델링하는 ResNet용 경쟁적 squeeze-and-excitation(CMPE-SE) 블록을 소개하고, 채널 특징을 합성 필터로 재이미징하는 내부 이미징(inner-imaging) 메커니즘을 추가하여 채널 간 관계를 더 풍부하게 만든다.

ABSTRACT

Residual networks, which use a residual unit to supplement the identity mappings, enable very deep convolutional architecture to operate well, however, the residual architecture has been proved to be diverse and redundant, which may leads to low-efficient modeling. In this work, we propose a competitive squeeze-excitation (SE) mechanism for the residual network. Re-scaling the value for each channel in this structure will be determined by the residual and identity mappings jointly, and this design enables us to expand the meaning of channel relationship modeling in residual blocks. Modeling of the competition between residual and identity mappings cause the identity flow to control the complement of the residual feature maps for itself. Furthermore, we design a novel inner-imaging competitive SE block to shrink the consumption and re-image the global features of intermediate network structure, by using the inner-imaging mechanism, we can model the channel-wise relations with convolution in spatial. We carry out experiments on the CIFAR, SVHN, and ImageNet datasets, and the proposed method can challenge state-of-the-art results.

연구 동기 및 목표

• 잔여 채널을 아이덴티티 매핑과의 경쟁을 통해 재가중함으로써 중복을 줄이고 효율성을 높이는 것을 동기를 부여한다.
• 잔여 특징을 넘어 아이덴티티 흐름을 포함하는 공동 보정 스키마에서 채널 단위 주의(attention)를 확장한다.
• 중간 채널 특징을 재이미징하고 컨볼루션 연산자로 채널 관계를 모델링하기 위해 내부 이미징(inner-imaging)을 도입한다.
• 저비용의 매개변수로 다양한 채널 관계 인코딩을 탐구하기 위해 페어-뷰(pair-view) 및 폴드된(inner-imaging) 변형을 제안한다.

제안 방법

• 잔여 및 아이덴티티 매핑에서 압축된 신호를 연결(concatenates)하고 공동 엑시케이션 가중치를 학습하는 CMPE-SE 블록을 정의한다.
• 아이덴티티 정보을 잔여 특징과의 결합 풀링을 통해 squeeze 단계에 통합한다.
• 전역 채널 관계를 공간 맵으로 변환하고 공간적으로 의존적인 채널 관계를 포착하기 위해 컨볼루션 필터를 적용하는 내부 이미징(inner-imaging)을 사용한다.
• 매개변수 수를 제어하면서 채널 관계를 더 풍부하게 모델하기 위해 페어-뷰 구성(2x1 및 1x1)과 폴드된 3x3 inner-imaging 변형을 탐구한다.
• 표준 ResNet 및 Wide ResNet 백본에 CMPE-SE 블록을 CIFAR-10/100, SVHN, 및 ImageNet에서 표준 학습 프로토콜과 mixup으로 적용한다.

실험 결과

연구 질문

• RQ1 아이덴티티 흐름이 잔여 채널의 재가중에 참여하도록 함으로써 CMPE-SE가 ResNet 모델링 효율성을 향상시킬 수 있는가?
• RQ2 내부 이미징이 잔여 신경망에서 표준 SE 블록보다 더 풍부한 채널 관계 모델링을 가능하게 하는가?
• RQ3 페어-뷰 및 폴드된 inner-imaging 변형이 기본 CMPE-SE 설계보다 매개변수 효율적인 이점을 제공하는가?
• RQ4 CMPE-SE가 CIFAR, SVHN, 및 ImageNet 데이터셋에서 SE 블록 및 기본 ResNets과 비교하여 어떤 성능을 보이는가?

주요 결과

• CMPE-SE는 CIFAR와 SVHN 전반에서 SE-ResNet보다 일관되게 향상된 성능을 보이며, 오차율을 감소시키고 비교적 적은 매개변수 증가로 더 나은 성능을 제공한다.
• CIFAR-10/100 및 WRN 변형에서 다양한 pair-view 및 folded 구성과 함께 CMPE-SE가 SE 블록보다 더 낮은 오류를 달성하고, 일부 3x3 folded pair-view 변형이 강한 이득을 나타낸다.
• ImageNet에서 double FC 또는 1x1 pair-view를 가진 CMPE-SE-ResNet-50 변종은 유사한 학습 설정에서 SE-ResNet-50보다 더 낮은 top-1/top-5 오차를 달성하여 확장 가능한 이득을 보인다.
• CMPE-SE는 CIFAR-10/100에서 SE-ResNet에 비해 평균 오차를 약 0.226% 감소시키고 WRN 구조에서 더 큰 상대적 개선을 보인다.
• 폴드된 inner-imaging은 기본 pair-view와 비교해 비슷하거나 약간 더 나은 성능을 제공하되, 채널 관계 인코딩의 다양성을 확대하고 합리적인 매개변수 비용을 유지하는 경로를 제시한다.