[논문 리뷰] A Multi-Stage Multi-Task Neural Network for Aerial Scene Interpretation and Geolocalization

Alina Marcu, Dragoş Costea외 2명|arXiv (Cornell University)|2018. 04. 04.

Advanced Image and Video Retrieval Techniques인용 수 14

한 줄 요약

이 논문은 RGB 위성 영상을 사용하여 단일 순방향 전파 내에 공중 영상의 의미적 세그멘테이션과 지리적 위치 특정을 수행하는 다단계, 다과제 신경망을 제안한다. 공유 인코더를 재사용하고 위치 특정을 위한 회귀 및 세그멘테이션 브랜치를 결합함으로써, 모델은 상업용 GPS 수준의 정밀도에 근접한 성능(97%의 예측이 5미터 이내)을 달성하였으며, Inria 및 Massachusetts Buildings 데이터셋에서 최신 기술 수준의 성능을 보였다.

ABSTRACT

Semantic segmentation and vision-based geolocalization in aerial images are challenging tasks in computer vision. Due to the advent of deep convolutional nets and the availability of relatively low cost UAVs, they are currently generating a growing attention in the field. We propose a novel multi-task multi-stage neural network that is able to handle the two problems at the same time, in a single forward pass. The first stage of our network predicts pixelwise class labels, while the second stage provides a precise location using two branches. One branch uses a regression network, while the other is used to predict a location map trained as a segmentation task. From a structural point of view, our architecture uses encoder-decoder modules at each stage, having the same encoder structure re-used. Furthermore, its size is limited to be tractable on an embedded GPU. We achieve commercial GPS-level localization accuracy from satellite images with spatial resolution of 1 square meter per pixel in a city-wide area of interest. On the task of semantic segmentation, we obtain state-of-the-art results on two challenging datasets, the Inria Aerial Image Labeling dataset and Massachusetts Buildings.

연구 동기 및 목표

• 공중 영상에서 의미적 세그멘테이션과 지리적 위치 특정을 동시에 수행하는 통합 딥 러닝 프레임워크를 개발하는 것.
• 오직 RGB 위성 영상만을 사용하여 상업용 GPS 수준의 고정밀도 위치 특정을 달성하는 것.
• UAV 시스템의 임베디드 GPU에 적합한 효율적인 아키텍처를 설계하는 것.
• 도로 지도 매칭을 통한 기하학적 정렬 단계를 통해 위치 특정 정확도를 향상시키는 것.
• 서로 관련된 다양한 시각 작업을 위한 모듈러한 단계별 다과제 학습의 이점을 탐색하는 것.

제안 방법

• 네트워크는 RGB 공중 영상에서 계층적 특징을 추출하기 위해 공유된 UniEncoder 모듈을 사용한다.
• 첫 번째 단계는 인코더-디코더 구조를 사용하여 픽셀 단위의 의미적 세그멘테이션을 수행한다.
• 두 번째 단계는 두 개의 병렬 브랜치를 포함한다: 하나는 회귀 기반 위치 특정을 위한 것이고, 다른 하나는 세그멘테이션 기반 위치 특정을 위한 것이다(128×128 위치 맵 생성).
• 세그멘테이션 기반 위치 특정 브랜치는 진짜 위치 중심의 확률 맵을 예측하며, 최종 위치는 가장 큰 연결 성분의 중심으로 추정된다.
• 간소화된 ICP 기반 기하학적 정렬 방법이 예측된 도로를 OpenStreetMap 도로 데이터와 정렬함으로써 위치 특정을 정밀하게 보정한다.
• 전체 시스템은 다중 과제 손실을 사용하여 엔드 투 엔드로 훈련되며, 세그멘테이션에 대한 교차 엔트로피 손실과 위치 특정에 대한 회귀/세그멘테이션 손실이 결합된다.

실험 결과

연구 질문

• RQ1 단일 딥 뉴럴 네트워크가 높은 정확도로 공중 영상에서 의미적 세그멘테이션과 지리적 위치 특정을 동시에 해결할 수 있는가?
• RQ2 모듈러한 다단계 다과제 아키텍처는 의미적 세그멘테이션과 위치 특정 작업 양쪽의 성능 향상에 얼마나 효과적인가?
• RQ3 세그멘테이션 기반 위치 특정 맵과 기하학적 정렬을 조합할 경우, 네트워크의 초도 예측을 초월해 위치 특정 정밀도를 얼마나 향상시킬 수 있는가?
• RQ4 공유 인코더를 여러 후행 작업에 재사용할 경우 성능 저하 없이 효율적으로 지원할 수 있는가?
• RQ5 도시 전체 공중 영상에서 상업용 GPS와 비교해 본다면, 제안된 방법은 위치 특정 정확도 측면에서 어떤가?

주요 결과

• 모델은 의미적 세그멘테이션 분야에서 Inria Aerial Image Labeling 및 Massachusetts Buildings 데이터셋에서 최신 기술 수준의 성능을 달성하였다.
• 지리적 위치 특정 예측의 97% 이상이 진짜 위치에서 5미터 이내에 위치하며, 상업용 GPS 정밀도에 근접하였다.
• 기하학적 정렬 이전 평균 위치 오차는 9.3미터에서 정렬 이후 1.89미터로 감소하였다.
• 세그멘테이션 기반 위치 특정 맵은 94%의 경우에서 정확한 위치 주변에 예측을 집중시키며, 가장 큰 연결 성분의 중심이 높은 정확도를 제공하였다.
• 기하학적 정렬 단계는 초기 오차가 최대 100미터인 90%의 경우에서 정확한 위치 특정을 성공적으로 복구하였지만, 대칭적이거나 반복적인 패턴에서는 실패하였다.
• 모든 작업에 걸쳐 단일 공유 인코더를 재사용함으로써 효율적인 추론이 가능해졌으며, 이는 UAV 시스템의 임베디드 GPU에 적합한 모델을 만들 수 있게 하였다.