[論文レビュー] Towards Monocular Digital Elevation Model (DEM) Estimation by Convolutional Neural Networks - Application on Synthetic Aperture Radar Images

Gabriele Costante, Thomas A. Ciarfuglia+1 more|arXiv (Cornell University)|Mar 1, 2018

Synthetic Aperture Radar (SAR) Applications and Techniques被引用数 2

ひとこと要約

本論文では、干渉レーダー高度計測（InSAR）処理を回避するため、Sentinel SAR画像でトレーニングされた完全畳み込みニューラルネットワーク（CNN）エンコーダデコーダアーキテクチャを用いた1回走査によるデジタルエレベーションモデル（DEM）推定手法を提案している。この手法は、SAR強度データと地形標高の間の統計的関係を学習し、1回走査によるDEM再構成において有望な予備的結果を達成している。

ABSTRACT

Synthetic aperture radar (SAR) interferometry (InSAR) is performed using repeat-pass geometry. InSAR technique is used to estimate the topographic reconstruction of the earth surface. The main problem of the range-Doppler focusing technique is the nature of the two-dimensional SAR result, affected by the layover indetermination. In order to resolve this problem, a minimum of two sensor acquisitions, separated by a baseline and extended in the cross-slant-range, are needed. However, given its multi-temporal nature, these techniques are vulnerable to atmosphere and Earth environment parameters variation in addition to physical platform instabilities. Furthermore, either two radars are needed or an interferometric cycle is required (that spans from days to weeks), which makes real time DEM estimation impossible. In this work, the authors propose a novel experimental alternative to the InSAR method that uses single-pass acquisitions, using a data driven approach implemented by Deep Neural Networks. We propose a fully Convolutional Neural Network (CNN) Encoder-Decoder architecture, training it on radar images in order to estimate DEMs from single pass image acquisitions. Our results on a set of Sentinel images show that this method is able to learn to some extent the statistical properties of the DEM. The results of this exploratory analysis are encouraging and open the way to the solution of single-pass DEM estimation problem with data driven approaches.

研究の動機と目的

• 複数時刻の観測を要する従来のInSAR技術の制限に対処すること。これは大気的要因やプラットフォームの不安定性に敏感である。
• 基底面分離や繰り返し走査サイクルを必要としない1回走査によるDEM推定により、SAR画像におけるレイヤー（重ね合わせ）の曖昧さを克服すること。
• 1枚のSAR画像から地形標高を推定するためのディープラーニングの可能性を検討すること。干渉処理を不要とする。
• 伝統的なInSARの代替として、リアルタイムまたはニアリアルタイムのDEM生成を可能にするデータ駆動型の代替手法を開発すること。
• 完全畳み込みニューラルネットワークが、SAR強度と地形標高の間の統計的マッピングを学習できることを示すこと。

提案手法

• 1回走査のSAR強度画像からDEMにマッピングする、エンコーダデコーダアーキテクチャを有する完全畳み込みニューラルネットワーク（CNN）を採用する。
• SAR画像と参照DEMのペアで構成されるデータセットを用いて、ネットワークをエンドツーエンドでトレーニングし、空間的および振幅から標高へのマッピングを学習する。
• U-Netに類似たアーキテクチャを採用し、スキップ接続により空間分解能を保持し、マルチスケール特徴を捉える。
• 深層特徴の不変性を活用して、SARバックサイタスと地形形状の間の複雑な非線形関係をモデル化する。
• 予測されたDEMと真値DEMの差を最小化するため、ピクセル単位の損失関数を最適化に用いる。
• 合成的またはシミュレーテッドなデータ拡張を活用して一般化性能を向上させ、特にトレーニングサンプルが少ない地域において有効にする。

実験結果

リサーチクエスチョン

• RQ1 干渉処理を必要とせずに、1枚のSAR強度画像から地形標高を推定できる深層学習モデルは、学習可能だろうか？
• RQ2 CNNアーキテクチャは、レイヤーとシャドーの曖昧さを回避しつつ、1回走査のSAR取得からどれほど正確にDEMを再構成できるだろうか？
• RQ3 データ駆動型のCNNベースの手法は、伝統的なInSARと比較して、DEMの精度と耐性の面でどの程度優れているだろうか？
• RQ4 訓練済みモデルの一般化能力は、多様な地形的および土地被覆条件の間でどの程度高いだろうか？
• RQ5 明示的な位相情報がなくても、SAR強度パターンから地形の統計的性質をモデルが学習できるだろうか？

主な発見

• 提案されたCNNベースの手法は、1回走査のSAR画像からDEMを推定することに成功し、InSARのデータ駆動型代替手法の可能性を示している。
• モデルはSAR強度データから空間パターンや地形特徴を捉え、現実的で整合性のある標高地図を生成している。
• Sentinel-1画像を用いた結果から、ネットワークが大規模な地形的構造を合理的な忠実度で再構成できていることが示された。
• 複数時刻の観測や基底面分離を必要としないため、リアルタイムでのDEM推定が可能になる可能性を秘めている。
• 予備的な結果は前向きであり、深層学習が位相情報が欠落している状況でも、複雑なSARからDEMへのマッピングをモデル化できることを示唆している。
• 強度データ内の文脈的関係を学習することで、レイヤー効果の緩和に一定の効果を示しているが、この初期研究では定量的検証が限定的である。