[논문 리뷰] Fully Convolutional Networks for Dense Semantic Labelling of High-Resolution Aerial Imagery

Jamie Sherrah|arXiv (Cornell University)|2016. 06. 08.

Remote Sensing and LiDAR Applications참고 문헌 18인용 수 270

한 줄 요약

논문은 완전 연결 신경망(FCN)을 고해상도 항공 이미지의 조밀한 의미 라벨링에 적응시키고, 전체 해상도 보존을 위한 다운샘플링 없는 FCN을 도입하며, 사전 학습된 특징과 DSM 기반 하이브리드 복셀 아키텍처를 사용해 ISPRS Vaihingen 및 Potsdam 데이터셋에서 최첨단 결과를 보여준다.

ABSTRACT

The trend towards higher resolution remote sensing imagery facilitates a transition from land-use classification to object-level scene understanding. Rather than relying purely on spectral content, appearance-based image features come into play. In this work, deep convolutional neural networks (CNNs) are applied to semantic labelling of high-resolution remote sensing data. Recent advances in fully convolutional networks (FCNs) are adapted to overhead data and shown to be as effective as in other domains. A full-resolution labelling is inferred using a deep FCN with no downsampling, obviating the need for deconvolution or interpolation. To make better use of image features, a pre-trained CNN is fine-tuned on remote sensing data in a hybrid network context, resulting in superior results compared to a network trained from scratch. The proposed approach is applied to the problem of labelling high-resolution aerial imagery, where fine boundary detail is important. The dense labelling yields state-of-the-art accuracy for the ISPRS Vaihingen and Potsdam benchmark data sets.

연구 동기 및 목표

• 고해상도 오버헤드 이미지를 위한 조밀한 의미 라벨링에 대해 FCN의 효과를 입증한다.
• 다운샘플링 없이 전체 공간 해상도를 보존하여 경계 정확도를 개선한다.
• 항공 데이터 세트에서 라벨링 성능을 향상시키기 위해 사전 학습된 CNN 특징과 고도 데이터를 활용한다.

제안 방법

• 완전 연결 계층을 합성곱 계층으로 변환하여 이미지 필터로 작동하는 FCN을 만든다.
• 해로운 샘플링 없이 수용 영역을 확장하기 위해 atrous(확장) 합성곱을 사용하여 다운샘플링 없이 다운샘플링 없는 FCN을 도입한다.
• 사전 학습된 CNN 특징과 DSM/고도 데이터를 결합한 하이브리드 네트워크를 제안하고, 처음부터 학습한다.
• 대형 위상 이미지를 다루고 전체 해상도 출력을 가능하게 하도록 타일에서 FCN을 학습한다.
• 패치 기반 학습과 FCN 학습을 비교하고 경계 정확도 및 학습 효율성에 대한 영향을 분석한다.
• 회전 증가와 리더십-추적 결과를 포함하여 ISPRS Vaihingen 및 Potsdam 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 FCN이 다운샘플링 없이도 매우 높은 해상도 항공 이미지에 대해 조밀하고 전체 해상도 의미 라벨링을 제공할 수 있는가?
• RQ2 다운샘플링 없는 FCN이 전통적인 다운샘플링 FCN과 비교해 경계 구분과 전체 정확도 향상을 가져오는가?
• RQ3 사전 학습된 시각 특징과 고도/DSM 데이터가 항공 데이터 세트의 의미 라벨링을 향상시키는가?
• RQ4 데이터 증가와 네트워크 깊이가 항공 영상용 FCN 성능에 미치는 영향은 무엇인가?

주요 결과

• FCN 학습은 패치 기반 학습에 비해 정확도를 크게 높인다(예: Vaihingen: 전체 정확도 87.17%까지, 36회전 증가).
• 다운샘플링 없는 FCN 학습은 다운샘플링 버전 대비 이득을 보이며 특히 차량 및 경계 구분을 개선한다(Vaihingen: 자동차 F1/정확도 최대 66.54%/76.77%).
• 사전 학습된 이미지 특징과 DSM 특징을 결합한 하이브리드 아키텍처가 고해상도 Potsdam 데이터에서 추가로 결과를 향상시킨다(차량 정확도 증가; Potsdam에서 이득 주목).
• Vaihingen에서 DST_2(RF+CRF)와 함께 다운샘플링 없는 접근이 검증 데이터에서 87.90%의 전체 정확도를 달성하고, DST_2는 ISPRS 경쟁에서 테스트 데이터에 대해 89.1%를 기록한다.
• Potsdam에서 다운샘플링 없는 접근은 정확도를 향상시키며 차량 클래스에서 상당한 이득이 나타난다(예: 검증 데이터의 Unknown/Car 지표 90.28% 등).
• 다운샘플링 없는 접근은 경계 인공물들을 줄이고 전체 해상도에서의 픽셀 단위 라벨링을 개선한다.