[논문 리뷰] Wise-SrNet: A Novel Architecture for Enhancing Image Classification by Learning Spatial Resolution of Feature Maps

Mohammad Rahimzadeh, Amirali Askari외 3명|arXiv (Cornell University)|2021. 04. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 6

한 줄 요약

이 논문은 전이 학습에서 전역 평균 풀링(GAP)을 대체하기 위해 공간 해상도를 유지하면서 계산 비용을 증가시키지 않는 새로운 딥러닝 아키텍처인 Wise-SrNet을 제안한다. 깊이 분리형 컨벌루션에 영감을 받아, 채널별로 학습 가능한 공간 주의를 적용함으로써 224×224 이미지에서 2–8%까지, 512×512 이미지에서 3–26%까지 다양한 모델과 데이터셋에서 Top-1 정확도를 향상시킨다.

ABSTRACT

One of the main challenges since the advancement of convolutional neural networks is how to connect the extracted feature map to the final classification layer. VGG models used two sets of fully connected layers for the classification part of their architectures, which significantly increased the number of models' weights. ResNet and the next deep convolutional models used the Global Average Pooling (GAP) layer to compress the feature map and feed it to the classification layer. Although using the GAP layer reduces the computational cost, but also causes losing spatial resolution of the feature map, which results in decreasing learning efficiency. In this paper, we aim to tackle this problem by replacing the GAP layer with a new architecture called Wise-SrNet. It is inspired by the depthwise convolutional idea and is designed for processing spatial resolution while not increasing computational cost. We have evaluated our method using three different datasets: Intel Image Classification Challenge, MIT Indoors Scenes, and a part of the ImageNet dataset. We investigated the implementation of our architecture on several models of the Inception, ResNet, and DenseNet families. Applying our architecture has revealed a significant effect on increasing convergence speed and accuracy. Our Experiments on images with 224*224 resolution increased the Top-1 accuracy between 2% to 8% on different datasets and models. Running our models on 512*512 resolution images of the MIT Indoors Scenes dataset showed a notable result of improving the Top-1 accuracy within 3% to 26%. We will also demonstrate the GAP layer's disadvantage when the input images are large and the number of classes is not few. In this circumstance, our proposed architecture can do a great help in enhancing classification results. The code is shared at https://github.com/mr7495/image-classification-spatial.

연구 동기 및 목표

• 현대 CNN에서 전역 평균 풀링(GAP)으로 인해 발생하는 공간 해상도 손실 문제를 해결하여 학습 효율성을 향상시키기.
• 고해상도 입력과 다수의 클래스를 포함한 대규모 이미지 분류 작업에서 GAP의 한계를 극복하기.
• 공간 정보를 유지하면서 모델 파라미터를 감소시키는 경량이며 계산 효율적인 GAP 대체 기법 설계하기.
• ResNet, DenseNet, Inception 등의 다양한 아키텍처에서 수렴 속도 향상과 분류 정확도 향상을 달성하기.
• EfficientNet과 같은 GAP 최적화 모델이 다른 특징 압축 방법(예: Wise-SrNet)과 호환되지 않는 이유를 탐구하기.

제안 방법

• GAP 레이어를 대체하기 위해 학습 가능한 공간 해상도 처리 모듈을 갖춘 새로운 아키텍처인 Wise-SrNet을 도입하기.
• 채널별로 독립적인 공간 차원을 처리하기 위해 깊이 분리형 컨벌루션 원리를 활용하고, 채널별로 학습 가능한 가중치를 사용하기.
• 공간 차원에 대해 공유된 가중치를 사용하지만, 채널별로 학습 가능한 변환을 적용함으로써 공간 구조를 유지하는 깊이 분리형 유사 레이어 설계하기.
• 과적합을 방지하면서도 계산 효율성을 유지하기 위해 정규화 및 정규화 레이어 통합하기.
• 완전 연결 또는 풀 컨볼루션 레이어를 피함으로써 GAP와 유사한 FLOPs를 유지하기.
• 다양한 백본 모델(ResNet, DenseNet, Inception, Xception)의 최종 GAP 레이어에 이 아키텍처를 대체 적용하기.

(a) Classification with Global Average Pooling

실험 결과

연구 질문

• RQ1 표준 GAP 대비 계산 비용을 증가시키지 않으면서도 학습 가능한 공간 인식 압축 레이어가 이미지 분류 정확도 향상에 기여할 수 있는가?
• RQ2 특징 맵의 공간 해상도를 유지할 경우, 다양한 데이터셋과 이미지 해상도에서 수렴 속도와 모델 일반화 능력에 어떤 영향을 미치는가?
• RQ3 Wise-SrNet은 다른 아키텍처에서 뚜렷한 성능 향상을 보였지만, 왜 EfficientNet 모델에서는 제한된 향상만을 보이는가?
• RQ4 고해상도 이미지와 대규모 클래스 데이터셋에서 GAP 사용이 성능에 얼마나 심각하게 악영향을 미치며, Wise-SrNet이 이를 완화할 수 있는가?
• RQ5 제안된 아키텍처는 아키텍처 재학습 없이도 다양한 CNN 계열에 일반적으로 적용 가능한가?

주요 결과

• ResNet50, DenseNet121, Inception 등의 다양한 데이터셋과 모델에서 224×224 해상도 이미지에서 Wise-SrNet이 Top-1 정확도를 2%에서 8%까지 향상시켰다.
• MIT Indoor Scenes 데이터셋의 512×512 해상도 이미지에서 Wise-SrNet은 Top-1 정확도를 3%에서 26%까지 향상시켜 고해상도 입력에서 뚜렷한 성능 향상을 입증했다.
• Wise-SrNet의 EfficientNet 모델에서의 성능 저하 원인은 NAS 최적화된 아키텍처로, GAP에 특별히 최적화되어 있어 다른 압축 레이어에 덜 적합하기 때문으로 분석되었다.
• Grad-CAM 시각화 결과 Wise-SrNet은 GAP보다 더 구분력 있고 공간적으로 일관된 특징 맵을 생성함을 확인하여 관련 이미지 영역을 더 잘 국소화함을 시사했다.
• Wise-SrNet은 GAP와 유사한 계산 비용을 유지하면서 더 бог화된 공간 특징 표현을 가능하게 하여, 많은 클래스와 큰 입력 이미지가 있는 환경에서 효과적임을 입증했다.
• Wise-SrNet은 EfficientNet를 제외한 모든 평가된 모델에서 GAP를 능가했으며, GAP에 특화된 아키텍처는 다른 방법의 이식성에 제한을 둠을 확인했다.

(b) Classification with Global Weighted Average Pooling