[논문 리뷰] MACU-Net Semantic Segmentation from High-Resolution Remote Sensing Images.

Rui Li, Chenxi Duan외 1명|arXiv (Cornell University)|2020. 07. 26.

Medical Image Segmentation Techniques인용 수 6

한 줄 요약

이 논문은 고해상도 위성 영상의 세분화를 위해 다중 척도 스킵 연결과 비대칭 컨볼루션 블록을 갖춘 U-Net 기반 아키텍처인 MACU-Net을 제안한다. 인코더-디코더 레이어 간의 다중 척도 특징을 융합하고 비대칭 컨볼루션을 통해 표현 능력을 향상시킴으로써, MACU-Net은 두 개의 위성 유도 데이터셋에서 U-Net, SegNet 및 DeepLab V3+를 능가하는 성능을 보였다.

ABSTRACT

Semantic segmentation of remote sensing images plays an important role in land resource management, yield estimation, and economic assessment. U-Net is a sophisticated encoder-decoder architecture which has been frequently used in medical image segmentation and has attained prominent performance. And asymmetric convolution block can enhance the square convolution kernels using asymmetric convolutions. In this paper, based on U-Net and asymmetric convolution block, we incorporate multi-scale features generated by different layers of U-Net and design a multi-scale skip connected architecture, MACU-Net, for semantic segmentation using high-resolution remote sensing images. Our design has the following advantages: (1) The multi-scale skip connections combine and realign semantic features contained both in low-level and high-level feature maps with different scales; (2) the asymmetric convolution block strengthens the representational capacity of a standard convolution layer. Experiments conducted on two remote sensing image datasets captured by separate satellites demonstrate that the performance of our MACU-Net transcends the U-Net, SegNet, DeepLab V3+, and other baseline algorithms.

연구 동기 및 목표

• 고해상도 원격 감지 영상에서 정밀한 특징 표현이 다양한 공간 척도에 걸쳐 요구되는 세분화 과제를 해결하기 위해.
• U-Net 인코더-디코더 아키텍처의 다양한 수준에서 유래한 다중 척도 특징을 통합하여 특징 표현을 향상시키기 위해.
• 표준 정사각형 커널 대신 비대칭 컨볼루션 블록을 사용하여 컨볼루션 레이어의 표현 능력을 향상시키기 위해.
• 계층적 특징과 비대칭 컨볼루션을 조합하여 뛰어난 세분화 성능을 달성하는 견고한 아키텍처를 개발하기 위해.

제안 방법

• 제안된 MACU-Net은 새로운 다중 척도 스킵 연결 메커니즘을 통해 저수준 및 고수준 특징 맵에서 유래한 다중 척도 특징을 융합한다.
• 표준 컨볼루션 레이어를 대체하기 위해 비대칭 컨볼루션 블록을 통합하여 더 큰 수신 필드를 확보하면서도 파rameter 수를 감소시킨다.
• U-Net 인코더-디코더 구조를 유지하되, 다양한 척도 간의 특징을 정렬하기 위해 스킵 연결을 강화한다.
• 레이어 간에 다중 척도 특징을 재정렬하고 융합하여 공간 세부 정보를 유지하면서 동시에 의미적 맥락을 풍부하게 한다.
• 원격 감지 영상 데이터셋에서 표준 세분화 손실 함수를 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 특징 재정렬과 다중 척도 융합에 중점을 두어 모델 복잡도를 과도하게 증가시키지 않으면서도 세분화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 U-Net 아키텍처의 다양한 수준에서 특징을 융합함으로써 다중 척도 스킵 연결이 고해상도 원격 감지 영상의 세분화 성능을 향상시킬 수 있는가?
• RQ2 비대칭 컨볼루션 블록은 원격 감지 세분화 작업에서 표준 컨볼루션 레이어에 비해 특징 표현 능력을 얼마나 향상시키는가?
• RQ3 MACU-Net은 U-Net, SegNet 및 DeepLab V3+와 같은 기존의 모델들과 비교해 고해상도 위성 영상에서 세분화 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 스킵 연결을 통한 다중 척도 특징 융합이 공간 세부 정보와 의미 일관성의 보존에 기여하는가?

주요 결과

• MACU-Net은 두 개의 고해상도 원격 감지 영상 데이터셋에서 U-Net, SegNet 및 DeepLab V3+보다 뛰어난 성능을 달성했다.
• 다중 척도 스킵 연결은 저수준과 고수준 특징 맵 간의 의미적 특징을 효과적으로 조합하고 재정렬한다.
• 비대칭 컨볼루션 블록은 네트워크의 표현 능력을 향상시켜 특징 학습을 향상시키지만, 파rameter 수를 크게 증가시키지 않는다.
• 제안된 아키텍처는 다양한 위성으로 촬영된 원격 감지 환경에서 일관된 성능 향상을 보였다.
• 모델 설계는 특징 계층 구조와 공간 세부 정보 보존 간의 균형을 효과적으로 유지하여 더 정확한 세분화 출력을 이끌어냈다.