[논문 리뷰] Multi-scale Attention U-Net (MsAUNet): A Modified U-Net Architecture for Scene Segmentation

Soham Chattopadhyay, Hritam Basak|arXiv (Cornell University)|2020. 09. 15.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 논문은 다중 척도 특징 추출과 학습 가능한 주의 게이트를 통합하여 구분력 있는 이미지 영역에 집중함으로써 시나리오 세그멘테이션을 향상시키는 수정된 U-Net 아키텍처인 다중 척도 주의 U-Net(MsAUNet)을 제안한다. 복합 손실 함수(이항, Dice, 가중치가 부여된 교차 엔트로피 포함)를 사용하여 빠른 수렴을 이룩함으로써, Pascal VOC2012에서 79.88%의 mIoU와 ADE20K에서 44.88%의 mIoU를 달성하여 최신 기술 수준의 성능을 확보한다.

ABSTRACT

Despite the growing success of Convolution neural networks (CNN) in the recent past in the task of scene segmentation, the standard models lack some of the important features that might result in sub-optimal segmentation outputs. The widely used encoder-decoder architecture extracts and uses several redundant and low-level features at different steps and different scales. Also, these networks fail to map the long-range dependencies of local features, which results in discriminative feature maps corresponding to each semantic class in the resulting segmented image. In this paper, we propose a novel multi-scale attention network for scene segmentation purposes by using the rich contextual information from an image. Different from the original UNet architecture we have used attention gates which take the features from the encoder and the output of the pyramid pool as input and produced out-put is further concatenated with the up-sampled output of the previous pyramid-pool layer and mapped to the next subsequent layer. This network can map local features with their global counterparts with improved accuracy and emphasize on discriminative image regions by focusing on relevant local features only. We also propose a compound loss function by optimizing the IoU loss and fusing Dice Loss and Weighted Cross-entropy loss with it to achieve an optimal solution at a faster convergence rate. We have evaluated our model on two standard datasets named PascalVOC2012 and ADE20k and was able to achieve mean IoU of 79.88% and 44.88% on the two datasets respectively, and compared our result with the widely known models to prove the superiority of our model over them.

연구 동기 및 목표

• 표준 U-Net 아키텍처에서의 부적절한 세그멘테이션 문제를 해결하기 위해, 재현되는 저수준 특징과 장거리 의존성의 낮은 모델링을 개선하기 위함.
• 확장된 컨볼루션과 피라미드 풀링을 통한 다중 척도 맥락 정보 융합을 통해 특징 표현을 향상시키기 위함.
• 에코더 특징과 글로벌 맥락을 가중치를 부여하는 학습 가능한 주의 게이트를 도입하여 관련성이 높은 국소 특징에 대한 주의를 향상시키기 위함.
• IoU, Dice, 가중치가 부여된 교차 엔트로피 손실을 융합한 복합 손실 함수를 통해 수렴 속도를 가속화하고 세그멘테이션 정확도를 향상시키기 위함.
• 최신 기술 수준의 방법들과의 비교를 통해 표준 벤치마크인 Pascal VOC2012와 ADE20K에서 모델의 우수성을 검증하기 위함.

제안 방법

• 특징 추출을 위해 백본으로 DenseNet169을 사용하는 U-Net 인코더-디코더 아키텍처를 사용한다.
• 다양한 수용각을 캡처하기 위해 확장 컨볼루션과 피라미드 풀링을 사용하여 다중 척도 특징을 추출한다.
• 에코더와 피라미드 풀링 출력에서 온 특징을 동적으로 가중치를 두어 주목할 만한 영역에 집중하기 위해 주의 게이트를 도입한다.
• 주의 게이트의 출력은 이전 피라미드 풀 레이어의 업샘플링된 특징과 결합되어 스킵 연결을 정밀화한다.
• 수렴 안정성과 수렴 속도 향상을 위해 IoU 손실을 Dice 손실과 가중치가 부여된 교차 엔트로피 손실과 융합하여 복합 손실 함수를 설계한다.
• 학습률과 최적화기의 조정을 위한 광범위한 추론 분석을 통해 적응형 최적화기(Adam, SGD, RMSProp)와 하이퍼파rameter를 조정한다.

실험 결과

연구 질문

• RQ1 다중 척도 주의 메커니즘은 관련성이 높은 국소 특징에 중점을 두고 재현되는 특징을 줄임으로써 U-Net의 시나리오 세그멘테이션에서 특징 표현을 향상시킬 수 있는가?
• RQ2 피라미드 풀링과 주의 게이트의 통합은 의미 세그멘테이션에서 장거리 의존성을 향상시키는 데 기여하는가?
• RQ3 IoU, Dice, 가중치가 부여된 교차 엔트로피 손실을 융합한 복합 손실 함수는 개별 손실 함수보다 더 빠른 수렴과 향상된 mIoU를 이끌 수 있는가?
• RQ4 표준 벤치마크인 Pascal VOC2012와 ADE20K에서 제안된 MsAUNet 아키텍처는 최신 기술 수준의 모델들과 비교해 성능 면에서 뛰어나게 되는가?
• RQ5 세그멘테이션 정확도와 수렴 속도를 극대화하기 위해 백본 아키텍처, 손실 함수, 최적화기의 최적 조합은 무엇인가?

주요 결과

• MsAUNet는 Pascal VOC2012 데이터셋에서 평균 교차율(mIoU) 79.88%를 달성하여 이전 최신 기술 수준의 모델들을 능가한다.
• ADE20K 데이터셋에서 모델은 mIoU 44.88%를 기록하였으며, ResNet 백본을 사용하는 PSPNet(43.29%)와 EncNet(41.11%)를 뛰어넘었다.
• Pascal VOC2012에서 픽셀 정확도 95.96%와 ADE20K에서 81.41%를 기록하여 높은 세그멘테이션 정밀도를 보였다.
• 복합 손실 함수는 더 빠른 수렴과 향상된 성능을 가능하게 하였으며, 학습률 1e-4에서 Adam 최적화기를 사용할 경우 양 데이터셋에서 최적의 결과를 얻었다.
• 추론 분석 결과, Adam 최적화기와 학습률 1e-4(Pascal VOC2012), 1e-5(ADE20K) 조합이 최고의 mIoU 성능을 제공하는 것으로 확인되었다.
• ADE20K에서의 시각적 결과는 MsAUNet가 특히 복잡하고 혼잡한 장면에서 더 선명하고 정확한 세그멘테이션 맵을 생성함을 보여주었다.