[논문 리뷰] NL-LinkNet: Toward Lighter but More Accurate Road Extraction with Non-Local Operations

Yooseung Wang, Junghoon Seo외 1명|arXiv (Cornell University)|2019. 08. 22.

Automated Road and Building Extraction참고 문헌 26인용 수 9

한 줄 요약

이 논문은 매우 고해상도 위성 이미지에서 도로 추출을 위한 경량이면서도 높은 정확도를 갖춘 U-Net 기반 아키텍처인 NL-LinkNet을 제안한다. 비국소 연산을 활용하여 장거리 맥락적 의존성을 포착한다. 인코더-디코더 구조에 비국소 블록을 통합함으로써 NL-LinkNet은 65.00% mIOU를 달성하였으며, 공식 DeepGlobe 챌린지 우승자인 D-LinkNet보다 43% 적은 파라미터, 더 낮은 GFLOPs, 더 빠른 수렴 속도를 기록하였다.

ABSTRACT

Road extraction from very high resolution satellite (VHR) images is one of the most important topics in the field of remote sensing. In this paper, we propose an efficient Non-Local LinkNet with non-local blocks that can grasp relations between global features. This enables each spatial feature point to refer to all other contextual information and results in more accurate road segmentation. In detail, our single model without any post-processing like CRF refinement, performed better than any other published state-of-the-art ensemble model in the official DeepGlobe Challenge. Moreover, our NL-LinkNet beat the D-LinkNet, the winner of the DeepGlobe challenge, with 43 \% less parameters, less giga floating-point operations per seconds (GFLOPs) and shorter training convergence time. We also present empirical analyses on the proper usages of non-local blocks for the baseline model.

연구 동기 및 목표

• 작은 수신 영역로 인해 CNN 기반 도로 세분화에서 장거리 맥락이 제한되는 문제를 해결하기 위해.
• 그림자, 나무, 건물 등으로 부분적으로 가림을 받는 도로가 있는 매우 고해상도 위성 이미지에서 도로 추출 정확도를 향상시키기 위해.
• 후처리 기법(예: CRF)에 의존하지 않고도 기존 SOTA 방법보다 더 가벼운 모델을 개발하기 위해.
• 비국소 블록 배치 및 쌍방향 함수 설계가 도로 세분화에 미치는 영향을 경험적으로 평가하기 위해.

제안 방법

• 모든 공간 위치에 대한 가중치 합으로 특징 표현을 계산하는 비국소 블록을 도입하여 전역 맥락 모델링을 가능하게 한다.
• 모델 깊이를 늘리지 않고도 인코더-디코더 아키텍처의 다양한 단계(예: 스테이지 3 또는 4)에 비국소 블록을 통합하여 특징 표현을 향상시킨다.
• 특징 간의 어텐션 가중치를 계산하기 위해 임bedded Gaussian 쌍방향 함수를 사용하여 장거리 의존성 모델링을 향상시킨다.
• 스패티얼 해상도를 유지하기 위해 스킵 커넥션을 갖춘 잔차 인코더(ResNet-34)를 백본으로 사용한다.
• 세분화 성능을 최적화하기 위해 교차 엔트로피 손실과 DICE 손실을 함께 사용하여 엔드 투 엔드 학습을 수행한다.
• 단일 비국소 블록 대비 双중 비국소 블록, 그리고 다양한 쌍방향 함수(내적곱, 가우시안, 임베디드 가우시안)를 사용한 여러 구성 요건을 평가한다.

실험 결과

연구 질문

• RQ1 비국소 연산은 수신 영역가 제한된 표준 CNN에 비해 매우 고해상도 위성 이미지에서 도로 세분화 정확도를 크게 향상시킬 수 있는가?
• RQ2 비국소 블록의 네트워크 아키텍처 내에서 도로 추출에 가장 효과적인 위치는 어디인가?
• RQ3 쌍방향 함수 중(예: 내적곱, 가우시안, 임베디드 가우시안) 도로 세분화의 비국소 어텐션에서 가장 높은 성능을 내는 것은 무엇인가?
• RQ4 CRF 정제와 같은 후처리 기법 없이도 단일 비국소 모델이 앙상블 기반 SOTA 모델을 초월할 수 있는가?
• RQ5 비국소 블록 통합은 확장된 컨볼루션 기반 모델에 비해 더 파라미터 효율적이고 더 빠르게 수렴하는가?

주요 결과

• NL-LinkNet은 DeepGlobe 챌린지 테스트 세트에서 65.00% mIOU를 달성하여 공식 1등 솔루션인 D-LinkNet보다 43% 적은 파라미터로 승리하였다.
• D-LinkNet(134.45 B GFLOPs)과 PSANet(131.54 B GFLOPs)보다 낮은 GFLOPs(124.88 B)를 기록하였고, 더 빠른 학습 수렴 속도를 확보하였다.
• 스테이지 4에 비국소 블록을 추가한 NL4-LinkNet은 베이스라인 대비 mIOU를 1.33% 향상시켰으며, 이중 비국소 블록을 적용한 NL34-LinkNet은 1.52% 향상되었다.
• 임베디드 가우시안 쌍방향 함수는 모든 구성 중에서 가장 높은 mIOU(64.59%)를 기록하여 내적곱(64.04%)과 가우시안(64.23%) 함수를 모두 앞섰다.
• NL-LinkNet은 DeepGlobe 챌린지에서 이전에 발표된 앙상블 모델 전부를 뛰어넘었으며, CRF 정제 없이도 단일 모델이 앙상블 성능을 초월할 수 있음을 입증하였다.
• 시각적 비교 결과, 국소 방법이 가림으로 인해 실패하는 복잡한 도시 지역, 굽이치는 도로, 원형 교차로 등에서도 NL-LinkNet이 더 잘 도로를 탐지하는 것으로 확인되었다.