[論文レビュー] IM2HEIGHT: Height Estimation from Single Monocular Imagery via Fully Residual Convolutional-Deconvolutional Network

Lichao Mou, Xiao Xiang Zhu|arXiv (Cornell University)|Feb 28, 2018

Remote Sensing and LiDAR Applications参考文献 33被引用数 101

ひとこと要約

本論文は、単一のモノクロマスカラなリモートセンシング画像から高さマップを予測する完全な残差畳み込み-デコンボリューションネットワークを提案し、DSMをグラウンドトゥルースとして用い、エッジを保持するためのスキップ接続を備える。ベルリンデータで基準手法に対して定量的改善を示し、建物インスタンス分割への応用が示される。

ABSTRACT

In this paper we tackle a very novel problem, namely height estimation from a single monocular remote sensing image, which is inherently ambiguous, and a technically ill-posed problem, with a large source of uncertainty coming from the overall scale. We propose a fully convolutional-deconvolutional network architecture being trained end-to-end, encompassing residual learning, to model the ambiguous mapping between monocular remote sensing images and height maps. Specifically, it is composed of two parts, i.e., convolutional sub-network and deconvolutional sub-network. The former corresponds to feature extractor that transforms the input remote sensing image to high-level multidimensional feature representation, whereas the latter plays the role of a height generator that produces height map from the feature extracted from the convolutional sub-network. Moreover, to preserve fine edge details of estimated height maps, we introduce a skip connection to the network, which is able to shuttle low-level visual information, e.g., object boundaries and edges, directly across the network. To demonstrate the usefulness of single-view height prediction, we show a practical example of instance segmentation of buildings using estimated height map. This paper, for the first time in the remote sensing community, attempts to estimate height from monocular vision. The proposed network is validated using a large-scale high resolution aerial image data set covered an area of Berlin. Both visual and quantitative analysis of the experimental results demonstrate the effectiveness of our approach.

研究の動機と目的

• 単一のモノクロ遠隔測定画像からの高さ推定は本質的に ill-posed な問題である。
• RGB画像を高さマップへマッピングする完全なエンドツーエンドの残差 conv-deconv ネットワークを開発、DSMをグラウンドトゥルースとして使用。
• スキップ接続を通じて高さマップのエッジ詳細を保持し、実用性（例：建物のインスタンス分割）を評価。

提案手法

• 特徴抽出用の畳み込みサブネットワークと高さ生成用のデコンボリューションサブネットワークの二部構成。
• 残差ブロックを採用して残差学習を可能にし、最適化を容易にする。
• 最初のブロックと最後から2番目のブロックの間にスキップ接続を組み込み、低レベルのエッ情報をネットワーク全体で伝達。
• デコンボリューション経路での最大プーリングのインデックスを用いたアンプーリングを使用し、空間的な詳細をより良く保持。
• RGB入力に対して高解像度の高さマップを予測するためエンドツーエンドで学習、MAE損失を用い、データ拡張と非常に小さなバッチサイズを使用。
• Edge Preservationと高さマップの品質を評価するため、Eigen-Netおよびプレーンな conv-deconv ベースラインと比較。

実験結果

リサーチクエスチョン

• RQ1 単一のモノクロ遠隔測定画像をエンドツーエンドの深層ネットワークで物理的に妥当な高さマップへ mapping できるか。
• RQ2 残差学習を含む畳み込み-デコンボリューションアーキテクチャは、非残差やプレーンなアーキテクチャと比べて高さマップの精度とエッジ保持を改善するか。
• RQ3 提案手法は高解像ベルリンデータセットで既存の単一画像高度推定手法（例：Eigen-Net）と比べてどうか。
• RQ4 予測された高さマップは建物のインスタンス分割などの下流タスクに有用か。

主な発見

アプローチ	MSE	MAE	SSIM
res. conv-deconv net	3.1e-03	2.7e-02	0.8060
net with skip connection	7.8e-04	1.7e-02	0.9366

• ベルリンのテストシーンで、スキップ接続を有する残差畳み込み-デコンボリューションネットは MSE 7.8e-04、MAE 0.017、SSIM 0.9366 を達成し、ベースラインを上回る。
• プレーンな conv-deconv ネットワークは学習が困難で現実的な高さマップを学習できないのに対し、残差with スキップ接続はエッジ保持を大幅に改善。
• Eigen-Net（ぼかされ低解像の予測を生む）と比較して、提案手法は後処理なしで高品質かつエッジを保持する高さマップを提供。
• 定性的な結果は、多様な土地利用シーンにおいて物体境界がシャープで高さマップの構造的ディテールが改善されていることを示す。
• 予測された高さマップからピクセルレベルの監視なしに、しきい値と植生フィルタリングだけで建物を分割できるデモンストレーションを提供。
• 高層建物の一部ケースでは失敗が残り、高層高度推定には依然とした課題がある。