[논문 리뷰] RES-SE-NET: Boosting Performance of Resnets by Enhancing Bridge-connections

V Varshaneya, S. Balasubramanian외 1명|arXiv (Cornell University)|2019. 02. 16.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 잔차 블록 간의 특징 맵을 재조정하는 데 사용되는 브릿지 연결(스킵 연결)에 스위즈-익스카이테이션(SE) 블록을 적용함으로써 성능을 향상시키는 Res-SE-Net을 제안한다. 이로 인해 CIFAR-10 및 CIFAR-100에서 최신 기준 성능을 달성하였으며, 표준 ResNet 및 SE-ResNet보다 각각 CIFAR-100에서 최대 1.94% 향상되고 CIFAR-10에서 최대 0.87% 향상되었다.

ABSTRACT

One of the ways to train deep neural networks effectively is to use residual connections. Residual connections can be classified as being either identity connections or bridge-connections with a reshaping convolution. Empirical observations on CIFAR-10 and CIFAR-100 datasets using a baseline Resnet model, with bridge-connections removed, have shown a significant reduction in accuracy. This reduction is due to lack of contribution, in the form of feature maps, by the bridge-connections. Hence bridge-connections are vital for Resnet. However, all feature maps in the bridge-connections are considered to be equally important. In this work, an upgraded architecture "Res-SE-Net" is proposed to further strengthen the contribution from the bridge-connections by quantifying the importance of each feature map and weighting them accordingly using Squeeze-and-Excitation (SE) block. It is demonstrated that Res-SE-Net generalizes much better than Resnet and SE-Resnet on the benchmark CIFAR-10 and CIFAR-100 datasets.

연구 동기 및 목표

• 잔차 네트워크에서 브릿지 연결의 역할을 조사한다. 이는 성능에 매우 중요하지만 일반적으로 일관된 특징 맵 통과로 간주된다.
• 현재 브릿지 연결 내 모든 특징 맵이 동일하게 가중치가 주어지지만, 이는 중요도의 다양성을 반영하지 못한다는 한계를 해결한다.
• 브릿지 연결 내 특징 맵 중요도를 동적으로 재보정함으로써 모델의 일반화 능력과 정확도를 향상시킨다.
• SE 블록을 브릿지 연결에 통합함으로써 기준 ResNet 및 SE-ResNet보다 일관된 성능 향상이 이루어지는지를 입증한다.
• SE 블록 통합이 깊은 네트워크에서 기울기 흐름이나 학습 안정성에 영향을 주지 않는지를 검증한다.

제안 방법

• 모든 브릿지 연결 경로에 Squeeze-and-Excitation(SE) 블록을 삽입한 수정된 ResNet 아키텍처인 Res-SE-Net을 도입한다.
• SE 블록은 전역 평균 풀링을 통해 채널별 주의 힘을 계산하고, ReLU 및 시그모이드 활성화 함수를 갖는 완전 연결층을 거쳐 학습 가능한 스케일링 인자를 생성한다.
• 이러한 학습된 가중치는 요소별 곱셈을 통해 브릿지 연결 내 특징 맵에 적용된다.
• 잔차 학습을 유지하기 위해 스킵 연결 구조를 그대로 유지함으로써 역전파 동안 안정적인 기울기 흐름을 보장한다.
• 표준 ResNet의 깊이 설정(20, 32, 44, 56, 110층)을 사용하여 CIFAR-10 및 CIFAR-100에서 평가한다.
• 표준 데이터 증강 및 최적화 프로토콜을 사용하여 학습을 수행하며, 성능을 기준 ResNet 및 SE-ResNet과 비교한다.

Figure 1: Resnet module (adapted from [ 1 ] ).

실험 결과

연구 질문

• RQ1 브릿지 연결은 ResNet의 성능에 얼마나 중요한가, 특히 제거되었을 경우 어떻게 영향을 미치는가?
• RQ2 브릿지 연결 내 모든 특징 맵을 동일하게 가중치를 주는 것은 모델 용량에 제한을 둔다. 동적 가중치 조정이 성능 향상에 기여할 수 있는가?
• RQ3 브릿지 연결에 스위즈-익스카이테이션 블록을 통합함으로써 특징 맵 표현을 향상시킬 수 있으며, 학습 과정에 영향을 주지 않는가?
• RQ4 기준 ResNet 및 SE-ResNet에 비해 Res-SE-Net은 벤치마크 이미지 분류 데이터셋에서 더 잘 일반화되는가?
• RQ5 SE 블록을 브릿지 연결에 삽입하는 것과 아이덴티티 스킵 연결에 삽입하는 것의 차이가 모델 정확도 및 학습 안정성에 미치는 영향은 무엇인가?

주요 결과

• 모든 깊이 설정에서 Res-SE-Net은 기준 ResNet 대비 CIFAR-10에서 평균 0.566% 향상되고 CIFAR-100에서 평균 0.704% 향상되었다.
• Res-SE-Net-110 버전이 가장 높은 성능 향상을 보였으며, ResNet-110 대비 CIFAR-10에서 0.87% 향상되고 CIFAR-100에서 1.6% 향상되었다.
• Res-SE-Net은 SE-ResNet 대비 평균 0.124% 향상되었으며, CIFAR-10에서는 1.392% 향상되었다. Res-SE-Net-110는 각각 0.74% 및 1.94% 향상되었다.
• 20층에서 110층까지의 모든 Res-SE-Net 모델에서 손실 값이 매끄럽고 안정적으로 유지되어 기울기 흐름에 이상이 없음을 시사한다.
• 실증 결과로, 아이덴티티 스킵 연결에 SE 블록을 추가하면 성능이 저하되며, 특히 더 깊은 네트워크에서 두드러진다. 이는 선택적 배치의 중요성을 강조한다.
• 제안된 아키텍처는 기준 ResNet 및 SE-ResNet보다 더 잘 일반화되며, 브릿지 연결을 강화함으로써 상당한 성능 향상이 가능함을 입증한다.

Figure 4: Modified bridge-connection 4 4 4 Image from Andrew Ng’s Deep Learning course and modified with an SE block. .