[논문 리뷰] Accurate Polygonal Mapping of Buildings in Satellite Imagery

Bowen Xu, Jiakun Xu외 2명|arXiv (Cornell University)|2022. 08. 01.

Remote-Sensing Image Classification인용 수 12

한 줄 요약

이 논문은 정점, 선분(흡인장에 의해) 및 영역 마스크를 통해 계층적 감독을 도입함으로써 위성 영상에서 건물의 정확한 다각형 매핑을 위한 새로운 딥러닝 프레임워크인 HiSup을 제안한다. 서로 다른 수준의 특징 상호작용을 통합하여 마스크의 가역성을 보장함으로써, HiSup는 AICrowd 및 Inria 벤치마크에서 기존 방법을 능가하는 최신 기술 수준의 성능을 달성하며, 각각 AP 점수 78.8과 IoU 88.2%를 기록한다.

ABSTRACT

This paper studies the problem of polygonal mapping of buildings by tackling the issue of mask reversibility that leads to a notable performance gap between the predicted masks and polygons from the learning-based methods. We addressed such an issue by exploiting the hierarchical supervision (of bottom-level vertices, mid-level line segments and the high-level regional masks) and proposed a novel interaction mechanism of feature embedding sourced from different levels of supervision signals to obtain reversible building masks for polygonal mapping of buildings. As a result, we show that the learned reversible building masks take all the merits of the advances of deep convolutional neural networks for high-performing polygonal mapping of buildings. In the experiments, we evaluated our method on the two public benchmarks of AICrowd and Inria. On the AICrowd dataset, our proposed method obtains unanimous improvements on the metrics of AP, APboundary and PoLiS. For the Inria dataset, our proposed method also obtains very competitive results on the metrics of IoU and Accuracy. The models and source code are available at https://github.com/SarahwXU.

연구 동기 및 목표

• 위성 영상에서 건물 추출 시 예측된 마스크와 진짜 다각형 사이의 성능 격차를 해소한다.
• 학습된 마스크가 다각형 외곽을 정확히 재구성하지 못하는 마스크 가역성 문제를 해결한다.
• 정점, 선분, 영역 마스크의 다중 수준 기하학적 감독을 활용하여 다각형 매핑 정확도를 향상시킨다.
• 형상 정확성을 유지하면서도 높은 의미적 이해를 확보하는 통합된 특징 임bedding 메커니즘을 설계한다.
• 마스크 예측과 다각형 애너테이션 간의 차이를 최소화하는 엔드 투 엔드 미분 가능한 학습을 달성한다.

제안 방법

• 세 수준의 계층적 감독 도입: 하위 수준의 연결점(정점), 중간 수준의 흡인장(흡인장 모델, AFM)으로 표현된 선분, 고위 수준의 영역 마스크.
• 다른 감독 수준의 특징을 통합된 형태의 형상 인식 특징으로 융합하기 위한 새로운 다중 수준 특징 상호작용 메커니즘 제안.
• 점 수준의 연결점과 영역 수준의 마스크 사이의 다각형 일관성을 확보하기 위해 영역 흡인장(AFM)을 다리로 활용.
• 마스크 예측, 연결점 탐지, AFM 추정을 동시에 수행하는 다중 작업 감독을 통해 네트워크를 엔드 투 엔드로 학습.
• 최종 가역성 있는 마스크에 대해서만 표준 후처리(예: Douglas-Peucker)를 적용하여 정밀한 다각형을 생성.
• 유연성과 확장성을 평가하기 위해 UResNet101 및 HRNet 백본을 활용하여 다양한 아키텍처에서의 성능을 평가.

실험 결과

연구 질문

• RQ1 정점, 선분, 영역 마스크에 걸친 계층적 감독이 다각형 매핑을 위한 예측 마스크의 가역성을 향상시키는가?
• RQ2 제안된 다중 수준 특징 상호작용 메커니즘이 마스크 예측과 진짜 다각형 간의 정렬을 어떻게 향상시키는가?
• RQ3 중간 수준의 흡인장 감독이 경계 또는 프레임 필드 감독보다 건물 다각형화에서 얼마나 뛰어난가?
• RQ4 다중 수준 감독의 통합이 AICrowd 및 Inria와 같은 다양한 벤치마크에서 일관된 성능 향상을 이끌어내는가?
• RQ5 다양한 백본 아키텍처(예: UResNet101 대비 HRNet)가 HiSup 프레임워크 하에서 최종 다각형화 성능에 미치는 영향은 어떠한가?

주요 결과

• AICrowd 데이터셋에서 HiSup는 기존 최고 성능 기법(프레임 필드)보다 5.1%p 높은 AP 78.8%를 기록한다.
• HiSup는 경계 AP 66.3%를 달성하여 프레임 필드 기법(57.9%)을 크게 앞서며, PoLiS 점수를 0.984에서 0.737로 감소시킨다.
• 절단 분석 결과, AFM 임베딩을 포함한 다중 수준 특징 상호작용이 기본 모델 대비 1.5%p 향상시키고, AFM 전용 헤드 대비 0.5%p 향상된 것으로 확인된다.
• HRNetV2-W32를 백본으로 사용할 경우 최고 성능을 기록하여 AP 76.2% 및 C-IoU 88.1%를 달성하며, UResNet101 및 HRNetV2-W18를 모두 초월한다.
• 이 방법은 일반화 능력이 뛰어나 Inria 벤치마크에서도 IoU 88.2%를 기록하며 높은 정확도를 확보한다.
• 체계적인 절단 분석 결과, AFM 감독이 마스크 정렬 및 연결점 탐지에 가장 기여하며, 경계 및 프레임 필드 감독을 모두 능가한다.