[논문 리뷰] SAN: Scale-Aware Network for Semantic Segmentation of High-Resolution Aerial Images

Jingbo Lin, Weipeng Jing외 1명|arXiv (Cornell University)|2019. 07. 06.

Advanced Neural Network Applications참고 문헌 17인용 수 13

한 줄 요약

이 논문은 고해상도 항공 영상의 세분화를 위해 척도 인식 모듈(SAM)을 제안한다. 이 모듈은 학습 가능한 2차원 재샘플링 맵을 사용하여 특징 맵을 적응적으로 재샘플링하여 척도가 일관되지 않은 객체를 처리한다. 이 방법은 소형, 대형, 긴 스트립 형태의 건물에 대한 특징 표현을 향상시켜 계산 오버헤드를 최소화하고 엔드 투 엔드 학습이 가능한 최신 기술 수준의 성능을 달성한다.

ABSTRACT

High-resolution aerial images have a wide range of applications, such as military exploration, and urban planning. Semantic segmentation is a fundamental method extensively used in the analysis of high-resolution aerial images. However, the ground objects in high-resolution aerial images have the characteristics of inconsistent scales, and this feature usually leads to unexpected predictions. To tackle this issue, we propose a novel scale-aware module (SAM). In SAM, we employ the re-sampling method aimed to make pixels adjust their positions to fit the ground objects with different scales, and it implicitly introduces spatial attention by employing a re-sampling map as the weighted map. As a result, the network with the proposed module named scale-aware network (SANet) has a stronger ability to distinguish the ground objects with inconsistent scale. Other than this, our proposed modules can easily embed in most of the existing network to improve their performance. We evaluate our modules on the International Society for Photogrammetry and Remote Sensing Vaihingen Dataset, and the experimental results and comprehensive analysis demonstrate the effectiveness of our proposed module.

연구 동기 및 목표

• 고해상도 항공 영상에서 척도가 일관되지 않은 객체로 인해 정확한 세분화가 어려운 문제를 해결한다.
• 딥 네트워크의 고정된 수신장이 소형 또는 대형 객체를 효과적으로 포착하지 못하는 한계를 극복한다.
• 공간적 척도와 입력 데이터 특성에 모두 적응할 수 있는 모듈을 개발하여 일반화 능력을 향상시킨다.
• 기존 네트워크에 아키텍처의 대대적 개선 없이도 쉽게 통합할 수 있도록 한다.
• 원격 감시 벤치마크에서 공간 주의 메커니즘과 다중 척도 융합 기반 모델에 비해 뛰어난 성능을 입증한다.

제안 방법

• 객체의 척도에 따라 픽셀 위치를 동적으로 조정하기 위해 학습 가능한 2차원 재샘플링 맵을 학습하는 척도 인식 모듈(SAM)을 제안한다.
• 특징 맵과 재샘플링 맵 간의 원소별 곱셈을 통해 암묵적으로 공간 주의를 적용한다.
• 역전파를 사용하여 재샘플링 맵을 엔드 투 엔드로 학습시켜 데이터 적응형 및 위치 적응형 특징 재구성 가능하게 한다.
• 완전 컨volution 네트워크(FCN8s)에 SAM을 통합하여 척도 인식 네트워크(SANet)를 구성한다.
• 표준 컨볼루션 연산을 초월한 효과적인 샘플링 공간을 확장하기 위해 재샘플링 메커니즘을 활용한다.
• 표준 컨볼루션 레이어를 유지하면서도 경량의 SAM 모듈만 추가함으로써 기존 네트워크와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 학습 가능한 재샘플링 메커니즘이 고해상도 항공 영상에서 다양한 척도의 객체에 대한 세분화 정확도를 향상시킬 수 있는가?
• RQ2 기존의 공간 주의 메커니즘과 비교해 본다면, 제안된 SAM은 척도 변화를 어떻게 다루는가?
• RQ3 기존의 FCN에 비해 SAM이 소형, 대형, 긴 스트립 형태의 건물에 대한 특징 표현을 얼마나 향상시키는가?
• RQ4 척도에 특화된 설계 없이도 다양한 입력 영상에 일반화되는가?
• RQ5 최소한의 성능 및 파rameter 오버헤드로 기존 네트워크에 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 SAM은 베이직한 FCN8s에 비해 소형, 대형, 긴 스트립 형태의 건물에서 세분화 정확도를 크게 향상시킨다.
• ISPRS Vaihingen 데이터셋에서, DSM을 사용하지 않고 IRRG 영상만을 사용함에도 불구하고, SANet에 SAM을 적용한 결과, DeepLabv3+, PSPNet, UNet 등의 베이스라인 모델을 모두 초월한다.
• 유사한 파rameter 수를 가진 공간 주의 모듈과 비교했을 때, SAM 기반 모델은 더 높은 mIoU를 달성하여 척도 인식 특징 학습에서의 우수성을 입증한다.
• 시각화 결과는 SAM이 모든 객체 척도에서 더 균일하고 완전한 활성화 맵을 생성함을 보여주며, 특히 대형 및 긴 스트립 형태의 건물에서 뚜렷한 성능 향상을 보인다.
• 특히 영상의 대부분을 차지하는 극단적인 케이스에서도 강력한 성능 유지를 보이며, 베이직한 FCN8s는 수신장이 제한되어 실패하는 경우가 있다.
• 제거 분석 결과 성능 향상은 추가적인 파rameter 때문이 아니라 척도 인식 재샘플링 메커니즘 덕분임을 확인했다.