[论文解读] A Multi-Stage Multi-Task Neural Network for Aerial Scene Interpretation and Geolocalization

Alina Marcu, Dragoş Costea+2 more|arXiv (Cornell University)|Apr 4, 2018

Advanced Image and Video Retrieval Techniques被引用 14

一句话总结

本文提出了一种多阶段、多任务神经网络，仅通过一次前向传播即可使用RGB卫星图像实现航空语义分割与地理定位。通过重用共享编码器，并结合回归与分割分支进行定位，该模型实现了接近商业GPS的精度（97%的预测结果在5米以内），并在Inria和Massachusetts Buildings数据集上达到最先进性能。

ABSTRACT

Semantic segmentation and vision-based geolocalization in aerial images are challenging tasks in computer vision. Due to the advent of deep convolutional nets and the availability of relatively low cost UAVs, they are currently generating a growing attention in the field. We propose a novel multi-task multi-stage neural network that is able to handle the two problems at the same time, in a single forward pass. The first stage of our network predicts pixelwise class labels, while the second stage provides a precise location using two branches. One branch uses a regression network, while the other is used to predict a location map trained as a segmentation task. From a structural point of view, our architecture uses encoder-decoder modules at each stage, having the same encoder structure re-used. Furthermore, its size is limited to be tractable on an embedded GPU. We achieve commercial GPS-level localization accuracy from satellite images with spatial resolution of 1 square meter per pixel in a city-wide area of interest. On the task of semantic segmentation, we obtain state-of-the-art results on two challenging datasets, the Inria Aerial Image Labeling dataset and Massachusetts Buildings.

研究动机与目标

• 开发一种统一的深度学习框架，联合执行航空图像中的语义分割与地理定位。
• 仅使用RGB卫星图像实现与商业GPS相当的高精度地理定位。
• 设计一种适合在无人机系统中嵌入式GPU上部署的高效架构。
• 通过使用道路地图匹配的几何对齐步骤提升定位精度。
• 探索模块化多阶段多任务学习在不同但相关视觉任务中的优势。

提出的方法

• 该网络使用共享的UniEncoder模块从RGB航空图像中提取分层特征。
• 第一阶段使用编码器-解码器结构执行像素级语义分割。
• 第二阶段包含两个并行分支：一个用于基于回归的定位，另一个用于基于分割的定位（生成128×128的位置图）。
• 基于分割的定位分支预测一个以真实位置为中心的概率图，最终定位通过最大连通区域的质心估计。
• 采用简化的ICP-based几何对齐方法，通过将预测道路与OpenStreetMap道路数据对齐来优化定位。
• 整个系统通过多任务损失端到端训练，结合交叉熵损失用于分割，以及回归/分割损失用于定位。

实验结果

研究问题

• RQ1 单一深度神经网络能否以高精度联合解决航空图像中的语义分割与地理定位？
• RQ2 模块化、多阶段多任务架构在提升分割与定位任务性能方面的有效性如何？
• RQ3 基于分割的定位图结合几何对齐，能在多大程度上将定位精度提升至超过网络初始预测水平？
• RQ4 共享编码器能否高效支持多个下游任务而不造成性能下降？
• RQ5 在城市级航空影像上，该方法与商业GPS相比在定位精度方面表现如何？

主要发现

• 该模型在Inria航空图像标注和Massachusetts Buildings数据集上的语义分割任务中达到最先进性能。
• 超过97%的地理定位预测结果在真实位置的5米以内，与商业GPS精度相当。
• 平均定位误差从对齐前的9.3米降低至对齐后的1.89米。
• 在94%的情况下，基于分割的定位图将预测结果集中在正确位置附近，且最大连通区域的质心估计具有高精度。
• 几何对齐步骤在初始误差高达100米的90%情况下成功恢复了准确的定位，但在对称或重复图案区域失败。
• 所有任务中复用单一共享编码器，实现了高效的推理，使模型适用于无人机系统中嵌入式GPU的部署。