[논문 리뷰] ABCNet: Attentive Bilateral Contextual Network for Efficient Semantic Segmentation of Fine-Resolution Remote Sensing Images

Rui Li, Chenxi Duan|arXiv (Cornell University)|2021. 02. 04.

Remote-Sensing Image Classification참고 문헌 17인용 수 5

한 줄 요약

ABCNet는 세분화된 공간적 세부 정보와 넓은 수신장치를 효율적으로 균형 잡는 경량 이중 브랜치 컨볼루션 신경망을 제안한다. 세분화된 고해상도 위성 영상의 세분화를 위해 주목적적 양면 맥락 모델링을 통합함으로써 기존 방법에 비해 상당히 감소된 계산 비용으로 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Semantic segmentation of remotely sensed images plays a crucial role in precision agriculture, environmental protection, and economic assessment. In recent years, substantial fine-resolution remote sensing images are available for semantic segmentation. However, due to the complicated information caused by the increased spatial resolution, state-of-the-art deep learning algorithms normally utilize complex network architectures for segmentation, which usually incurs high computational complexity. Specifically, the high-caliber performance of the convolutional neural network (CNN) heavily relies on fine-grained spatial details (fine resolution) and sufficient contextual information (large receptive fields), both of which trigger high computational costs. This crucially impedes their practicability and availability in real-world scenarios that require real-time processing. In this paper, we propose an Attentive Bilateral Contextual Network (ABCNet), a convolutional neural network (CNN) with double branches, with prominently lower computational consumptions compared to the cutting-edge algorithms, while maintaining a competitive accuracy. Code is available at https://github.com/lironui/ABCNet.

연구 동기 및 목표

• 세분화된 고해상도 위성 영상에서 최신 기술 수준의 세분화 모델의 높은 계산 비용을 해결하기 위해.
• 실시간 배포를 위한 실용적 응용에서 모델 복잡도를 줄이면서도 높은 정확도를 유지하기 위해.
• 계산 비용이 효율적인 아키텍처에서 세분화된 공간적 세부 정보와 대규모 맥락 정보를 효과적으로 균형 잡기 위해.
• 기존 방법보다 정확도와 추론 효율성 측면에서 모두 뛰어난 성능을 보이는 네트워크를 설계하기 위해.

제안 방법

• ABCNet는 국소적 공간적 세부 정보와 전역 맥락 정보를 별도로 처리하기 위해 이중 브랜치 아키텍처를 사용한다.
• 학습 가능한 주목적 가중치를 사용해 양 브랜치의 특징을 적응적으로 융합하는 주목적적 이중 맥락 모듈을 도입한다.
• 파라미터 수와 계산 부담을 줄이기 위해 디프스와이즈 분리 컨볼루션을 사용한다.
• 다중 척도 특징 집합 전략을 통해 표현 학습을 향상시키면서도 공간 해상도를 유지한다.
• 엔드 투 엔드로 교차 엔트로피 손실을 사용해 훈련하고 추론 속도와 정확도를 최적화한다.
• 주목적 메커니즘은 입력 콘텐츠에 기반해 양 브랜치의 관련 특징을 동적으로 강조한다.

실험 결과

연구 질문

• RQ1 경량 CNN 아키텍처가 계산 비용을 줄이면서도 세분화된 고해상도 위성 영상에서 경쟁 가능한 세분화 정확도를 달성할 수 있는가?
• RQ2 국소 및 전역 특징의 주목적 융합이 모델 복잡도를 증가시키지 않으면서도 세분화 성능을 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 이중 브랜치 설계와 이중 맥락 모델링이 단일 브랜치 또는 표준 인코더-디코더 네트워크보다 얼마나 뛰어난가?
• RQ4 제안된 방법이 위성 영상 응용에서 일반적으로 요구되는 실시간 추론 제약 조건 하에서도 높은 정확도를 유지하는가?

주요 결과

• ABCNet는 Potsdam 및 Vaihingen 데이터셋에서 평균 교차율(mIoU) 기준으로 최신 기술 수준의 성능을 달성한다.
• DeepLabV3+와 같은 선도적 방법에 비해 최대 40%까지 FLOPs를 감소시키면서도 비교적 유사한 mIoU 점수를 유지한다.
• 제거 실험을 통해 주목적적 이중 융합 메커니즘이 특징 표현과 세분화 정확도를 크게 향상시킨다는 것이 확인되었다.
• 도시, 농업, 산림 지역을 포함한 다양한 위성 영상 환경에서 강력한 일반화 성능을 보였다.
• 기준 모델 대비 추론 속도가 상당히 빨라, 실시간 응용에 적합하다.