[논문 리뷰] Automatic Building Extraction in Aerial Scenes Using Convolutional Networks

Jiangye Yuan|arXiv (Cornell University)|2016. 02. 21.

Automated Road and Building Extraction참고 문헌 20인용 수 58

한 줄 요약

이 논문은 항공 영상에서 자동으로 건물 추출을 위한 다중 단계 특징 통합과 부호 거리 함수 출력 표현을 갖춘 딥 컨volution 네트워크를 제안한다. 대규모 지리정보시스템(GIS)에서 제공하는 건물 외곽선 데이터로 훈련된 방법은 복잡한 도시 데이터셋에서 높은 정확도와 효율성을 달성하며, 이전 방법들보다 속도와 탐지 품질 측면에서 뛰어나다.

ABSTRACT

Automatic building extraction from aerial and satellite imagery is highly challenging due to extremely large variations of building appearances. To attack this problem, we design a convolutional network with a final stage that integrates activations from multiple preceding stages for pixel-wise prediction, and introduce the signed distance function of building boundaries as the output representation, which has an enhanced representation power. We leverage abundant building footprint data available from geographic information systems (GIS) to compile training data. The trained network achieves superior performance on datasets that are significantly larger and more complex than those used in prior work, demonstrating that the proposed method provides a promising and scalable solution for automating this labor-intensive task.

연구 동기 및 목표

• 건물 외관의 높은 다양성이 있는 복잡한 항공 영상 환경에서 자동 건물 추출의 과제를 해결한다.
• 기존의 수작업으로 설정된 외관 기준에 의존하는 전통적 방법의 한계를 극복하여 다양한 실제 도시 데이터셋에서 실패하는 문제를 해결한다.
• 풍부한 GIS 레이블링 건물 외곽선 데이터를 활용하여 확장 가능하고 일반화 가능한 건물 세그멘테이션을 위한 딥 러닝 모델을 훈련시킨다.
• 원격 감지 영상에서 픽셀 단위 분류와 경계 정확도를 향상시키기 위해 새로운 네트워크 아키텍처와 출력 표현 방식을 개발한다.

제안 방법

• 다양한 단계에서의 특징 활성화를 통합하는 스킵 연결을 갖춘 컨volution 신경망(ConvNet)을 설계하여 공간적 및 의미적 표현을 향상시킨다.
• 경계 표현을 향상시키고 국소화 정확도를 높이기 위해 부호 거리 함수(SDF)를 출력 표현으로 도입한다.
• 지리정보 기반 데이터베이스에서 제공하는 지리참조된 건물 외곽선 데이터를 활용하여 항공 영상용 대규모이고 정확한 훈련 샘플을 생성한다.
• SDF 출력에 맞게 조정된 손실 함수를 사용하여 엔드 투 엔드 백프로파게이션을 통해 네트워크를 훈련시켜 건물 경계의 정밀 예측을 가능하게 한다.
• 풀링 연산 과정에서 손실된 세밀한 공간적 세부 정보를 복구하기 위해 업샘플링 및 다중 해상도 융합 기법을 적용한다.
• 네트워크 아키텍처를 활용하여 전체 고해상도 영상을 효율적으로 처리함으로써 추론 속도를 최적화하여 이전 방법들보다 이미지당 처리 시간을 줄였다.

실험 결과

연구 질문

• RQ1 GIS에서 제공하는 건물 외곽선 데이터로 훈련된 딥 러닝 모델이 건물 외관의 높은 다양성이 있는 실제 복잡한 항공 영상 환경에 일반화될 수 있는가?
• RQ2 단일 단계 네트워크에 비해 다중 단계 특징 맵 통합이 건물 세그멘테이션의 픽셀 단위 분류 정확도를 향상시키는가?
• RQ3 부호 거리 함수(SDF) 출력 표현 방식이 경계 국소화 정확도를 향상시키고 오분류를 줄이는가?
• RQ4 대규모 데이터셋에서 기존 최첨단 건물 탐지 시스템과 비교해 본 결과, 제안된 방법은 정확도와 추론 속도 측면에서 어떤가?
• RQ5 모델은 농촌 지역이나 지리적으로 다를 수 있는 지역으로까지 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 대규모이고 복잡한 항공 영상 데이터셋에서 뛰어난 성능을 보이며, 이전 방법들보다 탐지 정확도와 계산 효율성 측면에서 모두 슈퍼리어하다.
• 이미지 1(813개 건물)에서, 이 방법은 오분류를 SU 방법의 51개에서 45개로 줄였고, 탐지 수를 321개에서 708개로 향상시켜 더 높은 재현율과 정밀도를 확보했다.
• 이미지 2(624개 건물)에서, 오분류를 47개에서 31개로 줄였고, 탐지 수를 258개에서 574개로 향상시켜 다양한 데이터셋에서 일관된 성능 향상을 입증했다.
• 시스템은 한 장의 테스트 이미지를 약 1분 내로 처리하며, 이는 SU 방법이 20분이 넘게 소요되는 것에 비해 훨씬 빠른 속도이다.
• 도시 및 근교 지역 영상에 적용했을 때 모델은 강력한 일반화 능력을 보였지만, 농촌 또는 지리적으로 특이한 지역에서는 성능이 저하되는 경향을 보였다.
• SDF 출력 표현 방식의 사용으로 인해 복잡한 시나리오 변화에도 불구하고 더 정확한 경계 분할이 가능해져 세그멘테이션 품질 향상에 기여했다.