[論文レビュー] A Multi-Stage Multi-Task Neural Network for Aerial Scene Interpretation and Geolocalization

Alina Marcu, Dragoş Costea+2 more|arXiv (Cornell University)|Apr 4, 2018

Advanced Image and Video Retrieval Techniques被引用数 14

ひとこと要約

本論文では、RGB衛星画像を用いて1回の順方向処理で空中セマンティックセグメンテーションとジオロケーションを実行する、マルチステージ・マルチタスクニューラルネットワークを提案する。共有エンコーダーを再利用し、回帰とセグメンテーションの両方のブランチを組み合わせることで、商業用GPSにほぼ匹敵する精度（97%の予測が5メートル以内）を達成し、InriaおよびMassachusetts Buildingsデータセットで最先端の性能を発揮した。

ABSTRACT

Semantic segmentation and vision-based geolocalization in aerial images are challenging tasks in computer vision. Due to the advent of deep convolutional nets and the availability of relatively low cost UAVs, they are currently generating a growing attention in the field. We propose a novel multi-task multi-stage neural network that is able to handle the two problems at the same time, in a single forward pass. The first stage of our network predicts pixelwise class labels, while the second stage provides a precise location using two branches. One branch uses a regression network, while the other is used to predict a location map trained as a segmentation task. From a structural point of view, our architecture uses encoder-decoder modules at each stage, having the same encoder structure re-used. Furthermore, its size is limited to be tractable on an embedded GPU. We achieve commercial GPS-level localization accuracy from satellite images with spatial resolution of 1 square meter per pixel in a city-wide area of interest. On the task of semantic segmentation, we obtain state-of-the-art results on two challenging datasets, the Inria Aerial Image Labeling dataset and Massachusetts Buildings.

研究の動機と目的

• 空中画像におけるセマンティックセグメンテーションとジオロケーションを統合的に実行する統一されたディープラーニングフレームワークの開発。
• RGB衛星画像のみを用いて、商業用GPSと同等の高精度なジオロケーションを達成すること。
• UAVシステムにおける埋め込みGPU向けに適した効率的なアーキテクチャの設計。
• 道路マップマッチングを用いた幾何的アライメントステップにより、ジオロケーション精度の向上。
• 異なるが関連するビジョンタスクに適したモジュラーなステージを有するマルチタスク学習の利点の探求。

提案手法

• ネットワークは、RGB空中画像からの階層的特徴を抽出するために共有されたUniEncoderモジュールを使用する。
• 最初の段階では、エンコーダ-デコーダ構造を用いてピクセル単位のセマンティックセグメンテーションを実行する。
• 2番目の段階には、2つの並列ブランチが含まれる：1つは回帰ベースのジオロケーション、もう1つはセグメンテーションベースのジオロケーション（128×128の位置マップを出力）である。
• セグメンテーションベースのジオロケーションブランチは、真の位置を中心とする確率マップを予測し、最終的な位置は最大の連結成分の重心として推定される。
• 簡略化されたICPベースの幾何的アライメント手法により、予測された道路をOpenStreetMapの道路データと一致させることで、ジオロケーションを精緻化する。
• 全システムは、セグメンテーション用の交差エントロピーと、ジオロケーション用の回帰/セグメンテーション損失を組み合わせたマルチタスク損失により、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 1つのディープニューラルネットワークが、高い精度で空中画像におけるセマンティックセグメンテーションとジオロケーションを同時に解決できるか？
• RQ2 モジュラーでマルチステージのマルチタスクアーキテクチャは、セグメンテーションおよびジオロケーションの両タスクにおける性能向上にどの程度効果的か？
• RQ3 セグメンテーションベースのジオロケーションマップに加えて幾何的アライメントを組み合わせることで、ネットワークの初期予測を超えてジオロケーション精度をどの程度向上できるか？
• RQ4 1つの共有エンコーダーが、性能の劣化を伴わずに複数の下流タスクを効果的にサポートできるか？
• RQ5 都市規模の空中画像において、本手法は商業用GPSと比較してどの程度のジオロケーション精度を達成するか？

主な発見

• 本モデルは、Inria Aerial Image LabelingおよびMassachusetts Buildingsデータセットにおいて、セマンティックセグメンテーションで最先端の性能を達成した。
• 97％以上のジオロケーション予測が真の位置から5メートル以内に収まり、商業用GPSの精度に匹敵した。
• ジオロケーション誤差は、アライメント前の平均9.3メートルから、ICPベースのアライメント後の1.89メートルにまで低下した。
• セグメンテーションベースのジオロケーションマップは94％のケースで正しい位置の周辺に予測を集約し、最大の連結成分の重心が高精度な推定を実現した。
• 幾何的アライメントステップは、初期誤差が100メートルまである90％のケースで正確なジオロケーションを回復できたが、対称的または繰り返しパターンのある場面では失敗した。
• すべてのタスクに共通のエンコーダーを再利用することで、効率的な推論が可能となり、UAVシステムにおける埋め込みGPUへのデプロイに適したモデルとなった。