[論文レビュー] D-SRGAN: DEM Super-Resolution with Generative Adversarial Network

Bekir Zahit Demiray, Muhammed Sit+1 more|arXiv (Cornell University)|Apr 9, 2020

Advanced Image Processing Techniques参考文献 44被引用数 4

ひとこと要約

本論文では、追加データを必要とせずに最大4倍の空間的分解能向上を達成する、深層学習に基づく生成的敵対ネットワーク（GAN）であるD-SRGANを提案する。単一画像超解像技術にインspiredされ、GANフレームワークを用いて高周波数の標高詳細を学習することで、水文的および地形解析用途におけるDEMの忠実性と正確性を著しく向上させる。

ABSTRACT

LIDAR (light detection and ranging) is an optical remote-sensing technique that measures the distance between sensor and object, and the reflected energy from the object. Over the years, LIDAR data has been used as the primary source of Digital Elevation Models (DEMs). DEMs have been used in a variety of applications like road extraction, hydrological modeling, flood mapping, and surface analysis. A number of studies in flooding suggest the usage of high-resolution DEMs as inputs in the applications improve the overall reliability and accuracy. Despite the importance of high-resolution DEM, many areas in the United States and the world do not have access to high-resolution DEM due to technological limitations or the cost of the data collection. With recent development in Graphical Processing Units (GPU) and novel algorithms, deep learning techniques have become attractive to researchers for their performance in learning features from high-resolution datasets. Numerous new methods have been proposed such as Generative Adversarial Networks (GANs) to create intelligent models that correct and augment large-scale datasets. In this paper, a GAN based model is developed and evaluated, inspired by single image super-resolution methods, to increase the spatial resolution of a given DEM dataset up to 4 times without additional information related to data.

研究の動機と目的

• コストおよび技術的制限のため、多くの地域で高分解能DEMが不足しているという問題に対処すること。
• 既存の低分解能DEMの空間的分解能を向上させ、水文的モデリングおよび洪水マッピングの正確性を向上させること。
• 追加の入力データや事前の標高情報が不要な深層学習ベースの手法を開発すること。
• 超解像処理中に地形的特徴をどのように保持するかを評価すること。

提案手法

• 画像処理分野の単一画像超解像技術を、DEM分野に適応させるために生成的敵対ネットワークアーキテクチャを用いる。
• 生成器ネットワークを用いて低分解能DEMを高分解能にアップサンプリングし、微細なスケールの標高詳細を予測するように学習する。
• 実際の高分解能DEMパッチと生成されたパッチを区別するための識別器ネットワークを活用し、現実性および構造的忠実性を向上させる。
• 敵対的損失を用いてGANを訓練し、生成器が信憑らしき高分解能標高面を生成する能力を最適化する。
• 構造的およびテクスチャ的詳細を保持するために、知覚的損失成分を適用する。
• 敵対的損失と再構成損失の組み合わせを用いて、出力の現実性と正確性のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 追加データが不要な状態で、GANベースのモデルが低分解能DEMを4倍の高分解能に効果的に超解像できるか。
• RQ2 提案されたD-SRGANが、脊梁、谷底、集水域パターンなどの地形的特徴を超解像処理中にどれほど適切に保持できるか。
• RQ3 ベースラインの超解像手法と比較して、DEMデータセットにおける定量的指標（例：PSNR、SSIM）でどの程度の向上が見られるか。
• RQ4 洪水マッピングなどの実世界の応用において、向上したDEMを用いた際のモデルの性能はいかがなものか。

主な発見

• D-SRGANモデルは、追加データや事前の標高情報が不要な状態で、DEMの空間的分解能を最大4倍に向上させることに成功した。
• モデルは、超解像処理されたDEMにおいて、知覚的品質と構造的忠実性が向上しており、重要な地形的特徴を保持している。
• 定量的評価では、ベースライン手法と比較してPSNRおよびSSIM指標に顕著な向上が見られ、再構成の正確性と視覚的リアリズムが向上していることが示された。
• D-SRGANが生成した向上済みDEMは、水文的モデリングや洪水マッピングなどの後続応用において、性能が向上している。