[논문 리뷰] Deep Fusion of Local and Non-Local Features for Precision Landslide Recognition

Qing Zhu, Chen Lin외 4명|arXiv (Cornell University)|2020. 02. 20.

Landslides and related hazards참고 문헌 24인용 수 4

한 줄 요약

이 논문은 후재해 UAV 영상에서 빈도 높은 지형에서의 산사태 세분화를 향상시키기 위해 국소적이고 비국소적 특징을 확장된 컨볼루션과 아트로스 스페이셜 피ラ미드 풀링(ASPP), 스케일 주의 메커니즘을 통해 융합하는 U-Net 기반 모델인 DA-U-Net을 제안한다. 이 방법은 59.41% IoU를 기록하며, U-Net 및 DeeplabV3+와 같은 기준 모델을 크게 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Precision mapping of landslide inventory is crucial for hazard mitigation. Most landslides generally co-exist with other confusing geological features, and the presence of such areas can only be inferred unambiguously at a large scale. In addition, local information is also important for the preservation of object boundaries. Aiming to solve this problem, this paper proposes an effective approach to fuse both local and non-local features to surmount the contextual problem. Built upon the U-Net architecture that is widely adopted in the remote sensing community, we utilize two additional modules. The first one uses dilated convolution and the corresponding atrous spatial pyramid pooling, which enlarged the receptive field without sacrificing spatial resolution or increasing memory usage. The second uses a scale attention mechanism to guide the up-sampling of features from the coarse level by a learned weight map. In implementation, the computational overhead against the original U-Net was only a few convolutional layers. Experimental evaluations revealed that the proposed method outperformed state-of-the-art general-purpose semantic segmentation approaches. Furthermore, ablation studies have shown that the two models afforded extensive enhancements in landslide-recognition performance.

연구 동기 및 목표

• 산사태가 도로 및 노출된 지면과 스펙트럼적으로 유사한 특징과 함께 존재하는 복잡한 지형에서 애매한 산사태 탐지 문제를 해결하기 위해.
• 원격 감시 영상에서 국소적 수용장 정보와 비국소적 맥락 이해를 융합하여 의미 세분화 정확도를 향상시키기 위해.
• U-Net 아키텍처에서의 다운샘플링으로 인한 특징 손실을 줄이기 위해 업샘플링 과정에서 세밀한 경계를 유지하기 위해.
• 메모리 사용을 최소화하면서도 산사태 인식 작업에서 성능을 향상시키는 경량이고 효율적인 U-Net 보완을 개발하기 위해.

제안 방법

• U-Net의 버팀목에서 확장된 컨볼루션과 아트로스 스페이셜 피라미드 풀링(ASPP) 모듈을 도입하여 공간 해상도를 유지하면서 수용장 범위를 확장하고 메모리 사용량을 증가시키지 않는다.
• 스케일 주의 메커니즘을 활용하여 가중 맵을 학습하여 특징 업샘플링을 안내하며, 관련성이 없는 고해상도 특징을 억제하고 관련성이 높은 고해상도 특징을 강화한다.
• U-Net의 인코더-디코더 아키텍처를 유지하지만, 인코더 및 디코더 경로에 두 가지 경량 모듈을 통합한다: 맥락적 특징 집합을 위한 ASPP와 업샘플링 중 특징 정제를 위한 주의 메커니즘.
• 후재해 UAV 영상에서 산사태 픽셀과 비산사태 픽셀의 세분화를 최적화하기 위해 이방향 학습과 이진 교차 엔트로피 손실을 사용한다.
• 다중 해상도 특징을 확장된 컨볼루션을 통해 다수의 비율로 활용하여 다운샘플링 없이 다양한 공간 맥락을 캡처한다.
• 스킵 연결에 주의 모듈을 적용하여 관련성에 따라 특징을 다이나믹하게 재가중함으로써 경계 유지 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 국소적 특징과 비국소적 특징의 융합이 도로 및 노출된 지면과 같이 스펙트럼 유사성이 높은 영역에서 산사태 탐지 정확도를 크게 향상시킬 수 있는가?
• RQ2 표준 U-Net 업샘플링 방식에 비해 주의 기반 업샘플링 메커니즘이 경계 손실을 얼마나 줄이고 세분화 정밀도를 향상시키는가?
• RQ3 ASPP와 함께 사용된 확장된 컨볼루션은 공간 해상도를 유지하거나 계산 비용을 증가시키지 않으면서 맥락 이해를 어떻게 향상시키는가?
• RQ4 확장된 컨볼루션과 주의 모듈을 동시에 적용할 경우, 개별 구성 요소보다 상호보완적인 성능 향상이 이루어지는가?
• RQ5 DeeplabV3+ 및 PSPNet과 같은 최신 기술 수준의 모델과 비교했을 때, 제안된 DA-U-Net은 산사태 탐지 벤치마크에서 IoU, 정밀도, 재현율, F-스코어 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 DA-U-Net은 59.41%의 인터섹션 오버 유니언(IoU)을 기록하였으며, 기준 모델인 U-Net(48.18%)과 DeeplabV3+(57.25%)를 크게 능가하였다.
• 제거 분석 결과, 확장된 컨볼루션 + ASPP 모듈과 주의 모듈이 각각 성능 향상에 기여했으며, 병합된 모델에서 가장 높은 IoU를 기록하였다.
• 도로 및 노출된 지면과 같은 혼동 요소가 많은 영역에서 DA-U-Net은 FCN, U-Net, PSPNet에 비해 더 낮은 가짜 양성 결과를 보이며 뛰어난 일반화 능력을 보였다.
• 주의 기반 업샘플링 모듈은 노이즈와 관련성이 없는 특징을 효과적으로 억제하여 더 선명하고 정확한 산사태 경계 예측을 가능하게 하였다.
• 기존 U-Net 아키텍처에 몇 개의 컨볼루션 계층만 추가하여 최소한의 계산 오버헤드로 최신 기술 수준의 성능을 달성하였다.
• 스펙트럼 유사성이 높은 배경 특징으로 인해 세분화가 어려운 복잡하고 애매한 환경에서도 산사태 탐지에 대해 뛰어난 강건성을 보였다.