[論文レビュー] What Is It Like Down There? Generating Dense Ground-Level Views and Image Features From Overhead Imagery Using Conditional Generative Adversarial Networks

Xueqing Deng, Yi Zhu+1 more|arXiv (Cornell University)|Jun 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 7

ひとこと要約

本稿では、上空からの衛星画像から現実的で高解像度の地上レベルのビューと密な画像特徴を生成する条件付き生成対抗ネットワーク（cGAN）を提案する。この手法は、補間ベースのアプローチや実際の地上レベル画像のサンプリングよりも分類精度が高く、cGANで学習された特徴表現が都市・農村分類において実画像とほぼ同等に有効であることを示している。

ABSTRACT

This paper investigates conditional generative adversarial networks (cGANs) to overcome a fundamental limitation of using geotagged media for geographic discovery, namely its sparse and uneven spatial distribution. We train a cGAN to generate ground-level views of a location given overhead imagery. We show the "fake" ground-level images are natural looking and are structurally similar to the real images. More significantly, we show the generated images are representative of the locations and that the representations learned by the cGANs are informative. In particular, we show that dense feature maps generated using our framework are more effective for land-cover classification than approaches which spatially interpolate features extracted from sparse ground-level images. To our knowledge, ours is the first work to use cGANs to generate ground-level views given overhead imagery and to explore the benefits of the learned representations.

研究の動機と目的

• 地理的発見における地理タグ付き地上レベル画像の空間的分布の乏しさと不均一さに対処すること。
• 条件付きGAN（cGAN）を用いて、上空画像から密な、現実的な地上レベルのビューを生成すること。
• cGANで生成された画像特徴が土地被覆分類に有効であるかどうかを評価すること。
• cGANで生成された密な特徴マップを活用して、高解像度で均一な土地被覆マップを生成すること。
• 細かい空間スケールでの地上レベル画像と上空画像を統合する際の補間法の限界を克服すること。

提案手法

• 上空画像のパッチを条件入力として用い、それに該当する地上レベルのビューを生成するcGANフレームワークを訓練する。
• 生成器は上空画像を条件として現実的な地上レベルの画像を生成し、識別器は現実性を保証するとともに、有用な特徴表現の学習を支援する。
• グレースケールパッチ、HSV変換パッチ、CNN埋め込み特徴という3種類の上空画像埋め込みを評価する。
• 訓練済みのcGANを、地域全体の上空画像パッチのグリッドに適用することで、密な特徴マップを生成する。
• cGANで生成された画像から抽出した特徴に事前学習済みのResNet-34分類器を適用し、各グリッドセルにおける土地被覆を分類する。
• 実際の地上レベル画像特徴の空間補間を用いたベースラインと比較して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 cGANは、視覚的に妥当で、実画像と構造的に類似した上空画像から現実的な地上レベルのビューを生成できるか？
• RQ2 cGANが学習した画像表現は、土地被覆分類などの後続タスクに有用な情報を持っているか？
• RQ3 cGANで生成された密な特徴マップを用いることで、補間ベースの手法よりも土地被覆分類の精度が向上するか？
• RQ4 グレースケール、HSV、CNN特徴という異なる上空画像埋め込みの違いが、生成されたビューの品質および後続の分類性能に与える影響は何か？
• RQ5 cGANフレームワークは、補間ベースの手法よりも正確でなめらかでない土地被覆マップを生成できるか？

主な発見

• cGANで生成された地上レベルのビューは自然に見え、都市と農村のシーンの主な視覚的差異を捉えているが、実画像に比べて細部が欠けている。
• cGANで学習された特徴表現は、土地被覆分類で88.2％の精度を達成し、実際の地上レベル画像（ResNet-34分類器）と同等の性能を示した。
• 補間後に分類するアプローチは、孤立した土地被覆クラスのような不連続な空間パターンを検出できず、滑らかに平滑化されたマップを生成した。
• cGANベースの手法は、実画像サンプリングおよび補間手法の両方と比較して、真値に近い土地被覆マップを生成した。
• CNN埋め込み特徴を用いたcGANで生成された偽画像の分類器は61.8％の精度を達成した。これは、画像が合成であっても特徴表現が情報を持っていることを示している。
• cGANフレームワークは、補間ベースの手法を著しく上回る全体的な精度を示し、密で空間的に一貫性のある特徴マップを生成する有効性を実証した。