[論文レビュー] Using Conditional Generative Adversarial Networks to Generate Ground-Level Views From Overhead Imagery

Xueqing Deng, Yi Zhu+1 more|arXiv (Cornell University)|Feb 19, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 6

ひとこと要約

本稿では、エンコーダ・デコーダ型ジェネレータを備えた条件付き生成対抗ネットワーク（cGAN）を提案し、エンコーダからのマルチレベル特徴マップを条件として、上空画像からリアルな地上レベルのビューを合成する。本手法は、画像合成の忠実度（インセプションスコア：2.526）および土地被覆分類精度（86.71%）の両面で先行手法を上回り、高レベル特徴が分類に最適である一方で、特徴の連結が視覚的リアリズムを向上させることを示している。

ABSTRACT

This paper develops a deep-learning framework to synthesize a ground-level view of a location given an overhead image. We propose a novel conditional generative adversarial network (cGAN) in which the trained generator generates realistic looking and representative ground-level images using overhead imagery as auxiliary information. The generator is an encoder-decoder network which allows us to compare low- and high-level features as well as their concatenation for encoding the overhead imagery. We also demonstrate how our framework can be used to perform land cover classification by modifying the trained cGAN to extract features from overhead imagery. This is interesting because, although we are using this modified cGAN as a feature extractor for overhead imagery, it incorporates knowledge of how locations look from the ground.

研究の動機と目的

• 地理的情報マッピングにおける実際の地上レベル画像の疎で不均一な空間的分布に対処すること。
• 上空画像を入力として用い、リアルな地上レベルのビューを合成するためのディープラーニングフレームワークを開発すること。
• エンコーダ・デコーダネットワークからの異なるレベルの特徴マップが、cGANの画像生成をどのように条件づけるかを調査すること。
• 訓練済みのcGANが土地被覆分類タスクの特徴抽出器として再利用可能かどうかを評価すること。

提案手法

• ジェネレータは、上空画像を地上レベルのビューにマッピングするエンコーダ・デコーダアーキテクチャを採用し、エンコーダが階層的特徴を抽出する。
• cGANは、エンコーダの低レベル、中レベル、高レベルの特徴マップ、およびそれらの連結を条件として用い、画像生成をガイドする。
• ディスクラミネータは、実際の地上レベル画像と生成画像を区別し、標準的なcGAN損失関数を用いてジェネレータを敵対的に訓練する。
• フレームワークは、4,000組の一致するGeographの地上画像とGoogleマップの上空画像を用い、バッチサイズ128でAdam最適化アルゴリズムで訓練された。
• 土地被覆分類のため、訓練済みのcGANを用いて上空画像から1024次元の特徴ベクトルを抽出し、20,000か所のラベル付き位置でSVM分類を実施した。
• インセプションスコアを用いて画像の多様性とリアリズムを定量的に評価し、高いスコアがより優れた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 上空画像からのマルチレベル特徴を条件としたcGANは、リアルで代表的な地上レベルのビューを生成できるか？
• RQ2 エンコーダで抽出された特徴（低レベル、中レベル、高レベル）のそれぞれが、画像生成の条件づけにおいてどのように機能するか？
• RQ3 複数の特徴レベルの連結は、生成された地上レベル画像のリアリズムと多様性を向上させるか？
• RQ4 訓練済みのcGANは、土地被覆分類タスクの特徴抽出器として効果的に再利用可能か？
• RQ5 本手法で提案されたcGANベースの特徴抽出は、単純な画像パッチを用いた先行手法と比較してどのように性能を発揮するか？

主な発見

• 低レベル、中レベル、高レベルの特徴マップの連結が、最高のインセプションスコア（2.526）を達成し、生成された地上レベル画像の多様性とリアリズムが優れていることを示した。
• 高レベル特徴のみを用いた場合が、土地被覆分類精度で最高（86.71%）を記録し、低レベル（83.58%）および連結（85.45%）の特徴を上回った。
• 低レベル特徴のみを用いたモデルは視覚的品質が低く、詳細が欠落していた一方で、高レベル特徴はモード崩壊を引き起こし、視覚的に類似した出力を生成した。
• 本稿で提案されたcGANフレームワークは、10×10グレースケールパッチを用いた先行手法を顕著に上回り、分類精度（86.71% vs. 82.3%）が向上し、画像品質も優れた。
• フレームワークは、道路、木、芝生、空、建物といった識別可能な要素を含む詳細な地上レベル画像を効果的に生成でき、実際の真値画像に類似した外観を実現した。
• 本研究は、画像合成を目的としたcGANを、土地被覆分類などの下流の地理的情報タスクに効果的に微調整可能であることを示した。