[논문 리뷰] Hybrid Multiple Attention Network for Semantic Segmentation in Aerial Images

Ruigang Niu, Xian Sun외 4명|arXiv (Cornell University)|2020. 01. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 45인용 수 15

한 줄 요약

이 논문은 공간, 채널 및 카테고리 수준의 주의를 통합하여 전역적 의존성을 효율적으로 모델링하는 주목적 기반 프레임워크인 하이브리드 다중 주의 네트워크(HMANet)를 제안한다. HMANet는 매우 고해상도 항공 영상에서 의미 분할을 위해 최신 기술 수준의 성능을 달성하였으며, ResNet-101을 사용하여 ISPRS Vaihingen 및 Potsdam 벤치마크에서 평균 IoU 91.44%와 전체 정확도 92.21%를 기록하였다.

ABSTRACT

Semantic segmentation in very high resolution (VHR) aerial images is one of the most challenging tasks in remote sensing image understanding. Most of the current approaches are based on deep convolutional neural networks (DCNNs). However, standard convolution with local receptive fields fails in modeling global dependencies. Prior researches have indicated that attention-based methods can capture long-range dependencies and further reconstruct the feature maps for better representation. Nevertheless, limited by the mere perspective of spacial and channel attention and huge computation complexity of self-attention mechanism, it is unlikely to model the effective semantic interdependencies between each pixel-pair of remote sensing data of complex spectra. In this work, we propose a novel attention-based framework named Hybrid Multiple Attention Network (HMANet) to adaptively capture global correlations from the perspective of space, channel and category in a more effective and efficient manner. Concretely, a class augmented attention (CAA) module embedded with a class channel attention (CCA) module can be used to compute category-based correlation and recalibrate the class-level information. Additionally, we introduce a simple yet effective region shuffle attention (RSA) module to reduce feature redundant and improve the efficiency of self-attention mechanism via region-wise representations. Extensive experimental results on the ISPRS Vaihingen and Potsdam benchmark demonstrate the effectiveness and efficiency of our HMANet over other state-of-the-art methods.

연구 동기 및 목표

• 매우 고해상도 항공 영상에서 의미 분할을 위한 장거리 의존성 모델링의 과제를 해결한다.
• 고정된 국소 수신장으로 인해 전역 맥락을 포착하는 데 한계가 있는 표준 컨볼루션 네트워크의 문제를 극복한다.
• 원격 감지 분할에서 사용되는 자기 주의 메커니즘의 계산 복잡도와 특징 중복을 줄인다.
• 클래스 기반 특징 표현을 향상시켜 픽셀 단위 분류에 매우 중요한 카테고리 수준의 주의를 통합한다.
• 공간, 채널 및 카테고리 시각을 통합하여 향상된 분할 성능를 위한 효율적이고 효과적인 주의 메커니즘을 개발한다.

제안 방법

• 클래스 기반 상관관계를 계산하고 클래스 수준 특징을 재조정하기 위해 클래스 채널 주의(CCA) 모듈을 통합한 클래스 보강 주의(CAA) 모듈을 제안한다.
• 영역별 표현을 학습하여 특징 중복을 줄이고 자기 주의의 효율성을 향상시키기 위해 영역 셰플링 주의(RSA) 모듈을 도입한다.
• 공간, 채널 및 카테고리 주의를 동시에 최적화하여 다각도의 전역 맥락을 포착하는 하이브리드 주의 프레임워크를 설계한다.
• 다양한 아키텍처에서 모델의 성능와 효율성을 평가하기 위해 VGG-16과 ResNet-101을 백본으로 사용한다.
• 표준 프로토콜을 사용하여 ISPRS Vaihingen 및 Potsdam 데이터셋에서 모델을 훈련하고 테스트하며, 최신 기술 수준의 방법들과 비교한다.

실험 결과

연구 질문

• RQ1 공간, 채널 및 카테고리 시각을 통합한 하이브리드 주의 메커니즘이 항공 영상의 의미 분할 성능를 향상시키는가?
• RQ2 제안된 클래스 보강 주의(CAA) 모듈은 표준 공간 및 채널 주의와 비교해 클래스 수준 특징 표현을 어떻게 향상시키는가?
• RQ3 영역 셰플링 주의(RSA) 모듈은 원격 감지 데이터의 자기 주의에서 계산 복잡도와 특징 중복을 어느 정도 줄이는가?
• RQ4 여러 항공 영상 데이터셋(예: Vaihingen 및 Potsdam)에서 다양한 주의 시각의 통합이 일관된 성능 향상을 이끌어내는가?
• RQ5 매우 고해상도 항공 영상의 의미 분할에서 HMANet는 기존 최신 기술 수준의 방법들과 비교해 정확도와 효율성 면에서 어떻게 비교되는가?

주요 결과

• HMANet는 ResNet-101 백본을 사용하여 ISPRS Vaihingen 테스트 세트에서 평균 IoU 91.44%를 달성하였으며, 이는 이전 최신 기술 수준의 방법들을 능가하는 성능이다.
• Potsdam 데이터셋에서 HMANet는 전체 정확도 92.21%와 평균 IoU 87.28%를 기록하였으며, 뛰어난 성능과 강건성을 입증하였다.
• ResNet-101을 사용하여 Potsdam 데이터셋에서 HMANet는 평균 F1 스코어 93.50%를 기록하였으며, DeepLabV3+ 및 PSPNet와 같은 베이스라인 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험 결과, CAA 및 RSA 모듈의 조합이 성능 향상에 기여하는 것으로 확인되었으며, CAA는 클래스 수준 표현을 향상시키고 RSA는 효율성을 향상시켰다.
• 시각적 결과를 통해 경계 검출 향상과 노이즈 감소를 확인함으로써, HMANet는 이전 방법들보다 더 뛰어난 분할 품질을 확보하였다.