[論文レビュー] City-GAN: Learning architectural styles using a custom Conditional GAN architecture

Maximilian Bachl, Daniel C. Ferreira|arXiv (Cornell University)|Jul 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 3被引用数 13

ひとこと要約

この論文では、ウィーン、パリ、アムステルダム、マンハッタンのような都市固有のリアルな建築ファサードを学習・生成できる、カスタム化された条件付きGANアーキテクチャ「City-GAN」を提案する。都市固有のラベルと修正されたジェネレータ・ディスクラミネータ構造を組み合わせることで、標準のGANやCGANよりも高品質でスタイルに忠実な画像を生成でき、都市間での滑らかなスタイル補間が可能となる。

ABSTRACT

Generative Adversarial Networks (GANs) are a well-known technique that is trained on samples (e.g. pictures of fruits) and which after training is able to generate realistic new samples. Conditional GANs (CGANs) additionally provide label information for subclasses (e.g. apple, orange, pear) which enables the GAN to learn more easily and increase the quality of its output samples. We use GANs to learn architectural features of major cities and to generate images of buildings which do not exist. We show that currently available GAN and CGAN architectures are unsuited for this task and propose a custom architecture and demonstrate that our architecture has superior performance for this task and verify its capabilities with extensive experiments.

研究の動機と目的

• 特定の都市に特有のリアルな建築スタイルを学習・生成できるGANアーキテクチャの開発。
• 多様な建築的特徴を有する複雑な都市ファサードデータをモデル化する際の、標準GANおよびCGANの限界の解消。
• 連続的なラベル空間を用いて、都市間での制御された生成とスタイル補間を可能にすること。
• 再現可能な研究を促進するため、都市ファサードのキュレート済みデータセットの作成と公開。
• コミュニティによるメソッドの再現・拡張を支援するため、オープンソースのコードとデータの提供。

提案手法

• 建築スタイルの変動をよりよくモデル化できるよう、修正されたジェネレータおよびディスクラミネータを備えたカスタム条件付きGANアーキテクチャを設計。
• 都市ラベルをワンホットベクトルとしてエンコードし、ノイズベクトルとジェネレータで連結。ディスクラミネータは画像特徴とラベル情報を併用して本物/偽物の分類を実行。
• データ拡張技術として、水平反転（確率50%）と、元のサイズの85%にランダムクロップを適用。入力解像度は64×64、128×128、256×256ピクセル。
• キュレート済みの4,000枚のファサード画像（都市1,000枚ずつ）と、5都市分の500,000枚の未キュレートファサードデータを用いてモデルを学習。
• ラベルベクトルの線形補間（例：アムステルダムからマンハッタン）により、建築スタイルの滑らかな移行を実現。
• 特徴の削除には、負のラベル重み（例：マンハッタンには-1）を用い、生成画像から特定のスタイル要因を除去。

実験結果

リサーチクエスチョン

• RQ1 カスタムGANアーキテクチャは、都市建築データに対して、標準GANやCGANよりもよりリアルでスタイルに忠実なファサードを生成できるか？
• RQ2 色のトーン、窓のパターン、屋根構造、緑化などの建築的特徴は、都市ごとにどのように異なるのか。また、生成モデル内でそれらを分離可能か？
• RQ3 モデルは、都市間で妥当なハイブリッド建築スタイルを生成できるほど、補間が可能か？
• RQ4 連続的なラベル空間の使用により、都市間で意味的かつ解釈可能なスタイル転送が可能になるか？
• RQ5 キュレート済みおよび未キュレートデータセットの両方で、モデルは効果的に学習可能か。データ品質は性能にどのように影響するか？

主な発見

• 提案されたCity-GANアーキテクチャは、同じデータセット上で標準GANやCGANよりも顕著に高品質でよりリアルなファサード画像を生成した。
• モデルは、アムステルダムのレッドトーン、フィレンツェのbeigeファサード、ワシントンD.C.の木々が生い茂る通りといった、明確な建築的特徴を的確に捉え、生成できた。
• アムステルダムからマンハッタンへの補間は、建物の高さ、窓のサイズ、屋根構造の面で一貫した移行を示した。
• 特徴の削除実験により、マンハッタンのラベルが木々や近代的建築物を抑制することが確認され、アムステルダム生成画像からそれらを除去することで、これらの特徴が消失した。
• モデルは未キュレートデータセットにも一般化でき、500,000枚のフィルタリングされていないファサードで学習した場合でも妥当な結果を生成したが、キュレート済みデータに比べて品質は低かった。
• モデルは意味的なスタイル転送を可能にした。例えば、ラベル補間によりヨーロッパの教会をアメリカの高層ビルに変換することができた。