[논문 리뷰] A Novel Adaptive Deep Network for Building Footprint Segmentation

Amir Ziaee, Raziyeh Dehbozorgi외 1명|arXiv (Cornell University)|2021. 02. 27.

Advanced Neural Network Applications참고 문헌 21인용 수 6

한 줄 요약

이 논문은 고해상도 위성 영상에서 건물 기초 분할의 경계 정확도를 향상시키기 위해 Pix2Pix 기반의 새로운 이중 생성자 조건부 GAN인 G2G를 제안한다. 이중 생성자를 통해 국소화 및 에지 인식 특징을 결합함으로써 G2G는 기존의 SOTA 성능을 초월하여 평균 IoU에서 최대 18% 향상되고 픽셀 정확도에서 10% 이상 향상되었다.

ABSTRACT

Building footprint segmentations for high resolution images are increasingly demanded for many remote sensing applications. By the emerging deep learning approaches, segmentation networks have made significant advances in the semantic segmentation of objects. However, these advances and the increased access to satellite images require the generation of accurate object boundaries in satellite images. In the current paper, we propose a novel network-based on Pix2Pix methodology to solve the problem of inaccurate boundaries obtained by converting satellite images into maps using segmentation networks in order to segment building footprints. To define the new network named G2G, our framework includes two generators where the first generator extracts localization features in order to merge them with the boundary features extracted from the second generator to segment all detailed building edges. Moreover, different strategies are implemented to enhance the quality of the proposed networks' results, implying that the proposed network outperforms state-of-the-art networks in segmentation accuracy with a large margin for all evaluation metrics. The implementation is available at https://github.com/A2Amir/A-Novel-Adaptive-Deep-Network-for-Building-Footprint-Segmentation.

연구 동기 및 목표

• 고해상도 위성 영상에서 딥러닝 기반 건물 기초 분할의 지속적인 경계 정확도 부족 문제를 해결한다.
• 표준 세그멘테이션 네트워크에서 자주 손실되는 세밀한 에지 및 국소화 정보를 유지함으로써 분할 정확도를 향상시킨다.
• 조건부 GAN을 활용하여 위성 영상에서 고해상도 지도를 생성하는 새로운 네트워크 아키텍처를 개발한다.
• 이중 생성자 설계가 단일 생성자 접근 방식보다 경계 유지 및 분할 정확도에서 뛰어난 성능을 보이는지 입증한다.
• 표준화된 벤치마크에서 여러 평가 지표를 통해 메서드의 우수성을 검증함으로써 초모수 튜닝에 의한 편향 없이 강건성과 일반화 능력을 확보한다.

제안 방법

• Pix2Pix를 영감으로 삼은 이중 생성자 조건부 GAN 프레임워크(G2G)를 제안하며, 생성자 1은 국소화 특징을 추출하고 생성자 2는 경계 정밀화에 집중한다.
• 실제이고 정확한 분할 출력을 확보하기 위해 적대적 손실과 L1 재구성 손실을 함께 사용해 두 생성자를 공동으로 훈련시킨다.
• 국소화 특징과 에지 인식 특징 간의 특징 융합을 통합하여 예측의 공간적 세부 정보와 경계의 날카움을 향상시킨다.
• 전체 성능 평가를 위해 픽셀 정확도(PA), 평균 정확도(MA), 평균 IoU(MIoU), 빈도 가중 IoU(FWIoU)의 네 가지 평가 지표를 적용한다.
• 두 번째 생성자가 첫 번째 생성자의 출력을 개선하는 후처리 전략을 적용하여 지상 참조 이미지의 외관에 가까운 예측을 만든다.
• 공정한 비교를 위해 초모수 최적화 편향이 없도록, 평가에 적합한 초모수를 포함한 Pix2Pix 훈련 파이프라인을 활용한다.

실험 결과

연구 질문

• RQ1 조건부 GAN 프레임워크 내 이중 생성자 아키텍처가 단일 생성자 모델 대비 건물 기초 분할 정확도를 크게 향상시킬 수 있는가?
• RQ2 제안된 G2G 네트워크는 고해상도 위성 영상에서 세밀한 경계와 구조적 세부 정보를 얼마나 잘 유지하는가?
• RQ3 초모수 튜닝 없이 G2G 네트워크는 IoU, 픽셀 정확도 및 기타 표준 분할 지표에서 SOTA 방법과 비교해 어떻게 성능을 내는가?
• RQ4 국소화 및 에지 전용 특징 학습의 통합이 분할 품질 향상에 측정 가능한 기여를 하는가?
• RQ5 두 번째 생성자가 분할 출력을 개선하고 경계 정확도를 높이기 위해 효과적인 후처리 모듈로 기능할 수 있는가?

주요 결과

• G2G는 평균 픽셀 정확도 96%를 달성하여 Pix2Pix(89%)를 크게 능가하고, 가장 높은 성능을 보인 다중 작업 방법(95%)과 맞먹지만 다른 지표에서 승리한다.
• G2G의 평균 IoU는 83%에 도달하여 Pix2Pix(65%) 대비 18%p 향상되었고, 다중 작업 학습 접근법(70%) 대비 13%p 향상되었다.
• G2G는 빈도 가중 IoU 90%를 기록하여 모든 클래스에서 뛰어난 성능을 보이며, 특히 클래스 불균형 데이터셋 처리에서 강력한 성능을 입증했다.
• 두 번째 생성자는 첫 번째 생성자의 출력을 개선하여 지상 참조 이미지의 경계 품질과 유사한 예측을 생성하는 효과적인 후처리 모듈로 기능한다.
• 제거 실험을 통해 이중 생성자 설계가 단일 생성자 대안보다 더 효과적임을 확인하여 아키텍처 혁신의 타당성을 입증했다.
• 모든 네 가지 평가 지표에서 G2G는 Pix2Pix와 최근의 다중 작업 학습 방법을 일관되게 능가하여, 초모수 최적화 없이도 우월성을 입증했다.