[論文レビュー] Height estimation from single aerial images using a deep ordinal regression network

Xiang Li, Mingyang Wang+1 more|arXiv (Cornell University)|Jun 4, 2020

Advanced Vision and Imaging参考文献 22被引用数 7

ひとこと要約

本論文は、間隔を広げる間隔を用いて連続的高さ回帰を順序分類問題に変換することで、単一画像からの航空写真高さ推定のための深層順序回帰ネットワークを提案する。Atrous Spatial Pyramid Pooling (ASPP) を用いたマルチスケール特徴抽出と、滑らかな高さマップを生成するためのポストプロセッシング技術を統合することで、Vaihingen では 1.698m、Potsdam では 1.404m の RMSE を達成し、最先端の性能を実現した。

ABSTRACT

Understanding the 3D geometric structure of the Earth's surface has been an active research topic in photogrammetry and remote sensing community for decades, serving as an essential building block for various applications such as 3D digital city modeling, change detection, and city management. Previous researches have extensively studied the problem of height estimation from aerial images based on stereo or multi-view image matching. These methods require two or more images from different perspectives to reconstruct 3D coordinates with camera information provided. In this paper, we deal with the ambiguous and unsolved problem of height estimation from a single aerial image. Driven by the great success of deep learning, especially deep convolution neural networks (CNNs), some researches have proposed to estimate height information from a single aerial image by training a deep CNN model with large-scale annotated datasets. These methods treat height estimation as a regression problem and directly use an encoder-decoder network to regress the height values. In this paper, we proposed to divide height values into spacing-increasing intervals and transform the regression problem into an ordinal regression problem, using an ordinal loss for network training. To enable multi-scale feature extraction, we further incorporate an Atrous Spatial Pyramid Pooling (ASPP) module to extract features from multiple dilated convolution layers. After that, a post-processing technique is designed to transform the predicted height map of each patch into a seamless height map. Finally, we conduct extensive experiments on ISPRS Vaihingen and Potsdam datasets. Experimental results demonstrate significantly better performance of our method compared to the state-of-the-art methods.

研究の動機と目的

• 単一の航空写真からの高さ推定という課題に取り組む。これは、従来、マルチビュー ステレオ法やマルチイメージ手法に限られていた。
• 深層学習における直接回帰の限界、特に非有界な実数出力による収束が遅く、最適でない解が得られる問題を克服する。
• 間隔を広げる間隔を用いた順序分類問題に再定式化することで、高さ推定の精度を向上させる。
• Atrous Spatial Pyramid Pooling (ASPP) を統合して、より良い受容 field 覆 盖 を実現するマルチスケール特徴学習を強化する。
• パッチ単位の予測を統合して滑らかで高解像度のデジタル表面モデル (DSM) を生成するためのポストプロセッシング戦略を開発する。

提案手法

• 連続的高さ値を間隔を広げる間隔 (SID) に離散化することで、回帰問題を順序分類タスクに変換する。
• 予測された離散的高さマップと真値の離散的高さマップを比較する順序損失関数を用いて、完全畳み込み型エンコーダ・デコーダネットワークを訓練する。
• 倍率が異なる畳み込みの拡張を用いたドーナツ型空間ピラミッドプーリング (ASPP) モジュールを統合し、マルチスケール特徴を抽出する。
• GPU メモリ制限のため、パッチベースの訓練戦略を採用し、個々のパッチ予測を統合するポストプロセッシング技術を適用して滑らかな高さマップを生成する。
• 高さ間隔の順序性を考慮した独自の順序回帰損失関数を用いて、ネットワークをエンドツーエンドで最適化する。
• 特徴抽出のための事前学習済みバックボーン (例：ResNet) を活用し、ISPRS Vaihingen および Potsdam データセットでネットワーク全体を微調整する。

実験結果

リサーチクエスチョン

• RQ1 間隔を広げる間隔を用いた順序分類に再定式化することで、単一航空写真からの高さ推定が著しく向上するか？
• RQ2 順序損失関数を用いることで、標準的な平均二乗誤差 (MSE) 回帰損失と比較して、最適化と性能が向上するか？
• RQ3 Atrous Spatial Pyramid Pooling (ASPP) モジュールは、航空高さ推定におけるマルチスケール特徴学習をどの程度向上させるか？
• RQ4 提案されたポストプロセッシング手法は、パッチ単位の予測から滑らかで高解像度のデジタル表面モデル (DSM) を生成するのにどの程度効果的か？
• RQ5 提案手法は、Vaihingen や Potsdam のようなベンチマーク航空データセットで、既存の最先端手法を上回るか？

主な発見

• 提案手法は、ISPRS Vaihingen データセットで RMSE 1.698m、Potsdam データセットで 1.404m を達成し、最先端の手法を著しく上回った。
• 間隔を広げる間隔 (SID) 離散化を用いることで、相対的損失が 0.814 (MSE ベースライン) から 0.314 に低下し、最適化と精度の向上が明確に示された。
• 順序回帰損失は、マルチクラス分類損失を上回り、相対的損失が 0.105 低く、δ3 評価指標が 0.481 高くなった。
• ASPP モジュールの導入により、RMSE が 3.522m から 1.698m に 2.5m 以上改善され、マルチスケール特徴学習における重要性が裏付けられた。
• アブレーションスタディの結果、SID 離散化と ASPP の両方が不可欠であることが確認され、SID 単体でも MSE 回帰と比較して RMSE が 1.519m 減少した。
• 予測された高さマップと組み合わせることで、強力な意味的ラベル付け能力を示し、将来的なリモートセンシングタスクへの応用可能性が示された。