[論文レビュー] GeoGAN: A Conditional GAN with Reconstruction and Style Loss to Generate Standard Layer of Maps from Satellite Images

Swetava Ganguli, Pedro Javier Rojas Garzón+1 more|arXiv (Cornell University)|Feb 14, 2019

Advanced Image and Video Retrieval Techniques被引用数 28

ひとこと要約

GeoGANは、再構成損失およびスタイル損失を組み合わせた条件付きGANを提案し、衛星画像を標準地図レイヤーに変換することで、深層畳み込み生成器と識別器を用いて高精細で人間が読み取り可能な地図を生成する。モデルは敵対的損失、知覚的損失、再構成損失を統合することで、10m解像度ですら現実的な地図出力を得ており、他の手法を上回る性能を発揮する。

ABSTRACT

Automatically generating maps from satellite images is an important task. There is a body of literature which tries to address this challenge. We created a more expansive survey of the task by experimenting with different models and adding new loss functions to improve results. We created a database of pairs of satellite images and the corresponding map of the area. Our model translates the satellite image to the corresponding standard layer map image using three main model architectures: (i) a conditional Generative Adversarial Network (GAN) which compresses the images down to a learned embedding, (ii) a generator which is trained as a normalizing flow (RealNVP) model, and (iii) a conditional GAN where the generator translates via a series of convolutions to the standard layer of a map and the discriminator input is the concatenation of the real/generated map and the satellite image. Model (iii) was by far the most promising of three models. To improve the results we also added a reconstruction loss and style transfer loss in addition to the GAN losses. The third model architecture produced the best quality of sampled images. In contrast to the other generative model where evaluation of the model is a challenging problem. since we have access to the real map for a given satellite image, we are able to assign a quantitative metric to the quality of the generated images in addition to inspecting them visually. While we are continuing to work on increasing the accuracy of the model, one challenge has been the coarse resolution of the data which upper-bounds the quality of the results of our model. Nevertheless, as will be seen in the results, the generated map is more accurate in the features it produces since the generator architecture demands a pixel-wise image translation/pixel-wise coloring. A video presentation summarizing this paper is available at: https://youtu.be/Ur0flOX-Ji0

研究の動機と目的

• 衛星画像から標準地図レイヤーを自動生成することで、手作業による地図作成のコストと遅延を低減すること。
• 条件付きGANフレームワークに再構成損失およびスタイル転送損失を統合することで、地図生成品質を向上させること。
• ペア化された衛星画像・地図データセットを活用して、地図生成の定量的評価を可能にすること。
• Google Earth EngineおよびGoogle Maps APIからマルチスペクトル地理情報データを収集するスケーラブルなパイプラインの構築。

提案手法

• 生成器が畳み込み層のスタックを介して衛星画像を地図に似た出力に変換する条件付きGANアーキテクチャを採用する。
• 識別器は、衛星画像と生成/実際の地図を連結した入力を用いて、生成地図の現実性を評価する。
• 生成地図と正例地図のピクセル単位の類似性を強制するために再構成損失を適用する。
• ターゲット地図の視覚的スタイル（例：Google Mapsスタイル）を維持するために、特徴マップのグラム行列を一致させるスタイル損失を用いる。
• 敵対的損失、再構成損失、スタイル損失を統合し、エンコーダーや正規化フロー部品を含めない形で、エンドツーエンドにモデルを訓練する。
• Google Earth EngineおよびGoogle Maps APIから抽出された一致する衛星画像・地図ペアを用いたトレーニング用のデータパイプラインを実装する。

実験結果

リサーチクエスチョン

• RQ1 再構成損失およびスタイル損失を組み合わせた条件付きGANは、衛星画像から高品質で現実的な地図レイヤーを生成できるか？
• RQ2 再構成損失およびスタイル損失の導入により、標準GANと比較して地図の忠実度はどのように向上するか？
• RQ3 解像度（例：10m対より高い解像度）の違いが、生成地図の品質に与える影響は何か？
• RQ4 敵対的損失に加えて再構成損失およびスタイル損失を組み合わせたハイブリッド損失関数は、敵対的損失のみを用いるモデルを上回る性能を発揮するか？
• RQ5 雲がほとんどない実世界の高解像度衛星データを用いて、GANベースの地図生成器を訓練することは可能か？

主な発見

• 再構成損失およびスタイル損失を組み合わせた条件付きGANは、エンコーダーを用いるモデルやRealNVPベースの生成器を用いるモデルを上回る最高の地図変換品質を達成した。
• 15エポック以内に安定した学習と収束を達成し、10m解像度ですら視覚的に現実的な出力が得られた。
• 再構成損失およびスタイル損失により、標準GANと比較して知覚的品質が著しく向上し、アーティファクトも減少した。
• RealNVPベースの生成器は、訓練目的の不一致と尤度ベース最適化の欠如により、モード崩壊と数値的不安定性を示した。
• CycleGANデータセットでは、解像度が高く雲の被覆が少ないことから、モデルの性能が最も良くなった。これは、データ品質が主な制約要因であることを示唆している。
• 著者らは、Google Earth Engineからマルチバンド地理情報データ（赤外線を含む）を抽出するパイプラインを成功裏に構築し、将来的なモデル改善を可能にした。