[논문 리뷰] SERNet-Former: Semantic Segmentation by Efficient Residual Network with Attention-Boosting Gates and Attention-Fusion Networks

Serdar Erişen|arXiv (Cornell University)|2024. 01. 28.

Advanced Neural Network Applications인용 수 6

한 줄 요약

SERNet-Former는 Efficient-ResNet, 주의도-향상 게이트/모듈, 그리고 주의도 융합 네트워크를 갖춘 인코더–디코더 아키텍처를 제안하여 글로벌/로컬 맥락을 효율적으로 융합하고 CamVid와 Cityscapes 검증에서 최첨단 평균 IoU를 달성한다.

ABSTRACT

Improving the efficiency of state-of-the-art methods in semantic segmentation requires overcoming the increasing computational cost as well as issues such as fusing semantic information from global and local contexts. Based on the recent success and problems that convolutional neural networks (CNNs) encounter in semantic segmentation, this research proposes an encoder-decoder architecture with a unique efficient residual network, Efficient-ResNet. Attention-boosting gates (AbGs) and attention-boosting modules (AbMs) are deployed by aiming to fuse the equivariant and feature-based semantic information with the equivalent sizes of the output of global context of the efficient residual network in the encoder. Respectively, the decoder network is developed with the additional attention-fusion networks (AfNs) inspired by AbM. AfNs are designed to improve the efficiency in the one-to-one conversion of the semantic information by deploying additional convolution layers in the decoder part. Our network is tested on the challenging CamVid and Cityscapes datasets, and the proposed methods reveal significant improvements on the residual networks. To the best of our knowledge, the developed network, SERNet-Former, achieves state-of-the-art results (84.62 % mean IoU) on CamVid dataset and challenging results (87.35 % mean IoU) on Cityscapes validation dataset.

연구 동기 및 목표

• 높은 정확도를 유지하면서 의미 분할의 효율성을 향상시키는 것.
• 전역 맥락과 지역 맥락을 주의도-향상 매커니즘을 사용하여 인코더–디코더 프레임워크 내에서 융합한다.
• 1대1 의미 정보 매핑을 개선하기 위해 디코더의 효율성을 높이기 위해 attention-fusion 네트워크를 향상시킨다.

제안 방법

• Efficient-ResNet라는 백본으로 명명된 인코더–디코더 아키텍처를 제안한다.
• equivariant와 특징 기반 의미 정보를 융합하기 위해 attention-boosting gates (AbGs) 및 attention-boosting modules (AbMs)을 도입한다.
• 의미 정보 변환의 효율성을 높이기 위해 디코더에 attention-fusion networks (AfNs)를 개발한다.
• AfN 기반 융합을 지원하기 위해 디코더에 추가 컨볼루션 층을 활용한다.
• 보고된 평균 IoU 이득과 함께 CamVid 및 Cityscapes 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 효율적인 잔차 백본이 주의도-향상 구성 요소와 결합되어 과도한 계산 없이 의미 분할 성능을 향상시킬 수 있는가?
• RQ2 AbGs와 AbMs가 인코더–디코더 내에서 글로벌/맥락적 특징과 로컬 특징을 융합하는 데 어떻게 기여하는가?
• RQ3 디코더의 AfNs가 1대1 의미 정보 변환의 효율성과 정확성을 향상시키는가?
• RQ4 표준 벤치마크인 CamVid와 Cityscapes에서의 성능 향상은 무엇인가?

주요 결과

• CamVid에서 84.62% 평균 IoU를 달성한다.
• Cityscapes 검증에서 87.35% 평균 IoU를 달성한다.
• 기준 잔차 네트워크에 비해 상당한 개선을 보여준다.
• 다중 스케일 맥락 정보를 융합하는 데 있어 주의도-향상 게이트/모듈의 효과를 보여준다.
• 디코더 측면의 attention-fusion 네트워크가 효율적 의미 정보 매핑을 향상시킨다는 것을 확인한다.