[論文レビュー] Local Class-Specific and Global Image-Level Generative Adversarial Networks for Semantic-Guided Scene Generation

Hao Tang, Dan Xu+3 more|arXiv (Cornell University)|Dec 27, 2019

Generative Adversarial Networks and Image Synthesis参考文献 64被引用数 14

ひとこと要約

本稿では、小規模な物体や細部の生成を改善するために、グローバル画像レベル生成器とクラス固有のローカル生成器、および学習可能な重みマップ融合モジュールを組み合わせた、局所的クラス固有およびグローバル画像レベルの生成的対抗ネットワーク（LGGAN）を提案する。この手法は、CityscapesおよびDaytonデータセットにおけるセマンティック画像合成およびクロスビュー画像変換ベンチマークで最先端の性能を達成し、FIDおよびmIoU指標において顕著な向上を示した。

ABSTRACT

In this paper, we address the task of semantic-guided scene generation. One open challenge in scene generation is the difficulty of the generation of small objects and detailed local texture, which has been widely observed in global image-level generation methods. To tackle this issue, in this work we consider learning the scene generation in a local context, and correspondingly design a local class-specific generative network with semantic maps as a guidance, which separately constructs and learns sub-generators concentrating on the generation of different classes, and is able to provide more scene details. To learn more discriminative class-specific feature representations for the local generation, a novel classification module is also proposed. To combine the advantage of both the global image-level and the local class-specific generation, a joint generation network is designed with an attention fusion module and a dual-discriminator structure embedded. Extensive experiments on two scene image generation tasks show superior generation performance of the proposed model. The state-of-the-art results are established by large margins on both tasks and on challenging public benchmarks. The source code and trained models are available at https://github.com/Ha0Tang/LGGAN.

研究の動機と目的

• グローバル画像レベルのGANが不十分に処理する小規模な物体や細かいテクスチャの生成という課題に取り組む。
• 共有パラメータネットワークにおけるクラスの不均衡やサイズの差異による制限を克服する。
• 異なるセマンティッククラスに対して特徴を別々に学習するローカルクラス固有生成器を設計し、詳細な生成を向上させる。
• 学習可能な重みマップを用いたエンドツーエンドトレーニング可能な統合機構により、ローカルおよびグローバル生成を統合する。
• 判別性の高いクラス固有の特徴表現を向上させるための、新しい分類ベースの特徴学習モジュールを開発する。

提案手法

• 共有エンコーダ、グローバル画像レベル生成器（$G_g$）、および各セマンティッククラスごとのクラス固有のローカル生成器（$G_l$）を有するマルチブランチ生成器を提案する。
• セマンティックマップを用いて、クラス固有の特徴マップを空間的にガイドし、各オブジェクトクラスごとの局所的生成を可能にする。
• ローカルおよびグローバルの出力を要素ごとの乗算により動的に統合するための重みマップ生成器（$G_w$）を導入する。
• 画像空間およびセマンティック空間の両方で生成画像を区別する二重判別器構造（$D_s$）を採用し、忠実性および一貫性を向上させる。
• より判別性の高いクラス固有の特徴を学習するための分類ベースのモジュールを設計し、ローカル生成器の性能を向上させる。
• 敵対的損失、知覚的損失、分類損失を用いて、エンドツーエンドで全体ネットワークを訓練し、グローバルおよびローカル生成を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 ローカルクラス固有の生成は、グローバル画像レベル生成と比較して、小スケールおよび詳細な物体の合成を改善できるか？
• RQ2 クラス固有の特徴学習は、モデルの細粒度のテクスチャおよび構造の生成能力をどのように向上させるか？
• RQ3 学習可能なアテンションベースの統合により、ローカルおよびグローバル生成を統合することで、全体的な画像品質およびセマンティックの一貫性がどの程度向上するか？
• RQ4 分類ベースの特徴学習モジュールを組み込むことで、個々のオブジェクトクラスに対するより判別性の高い表現が得られるか？
• RQ5 クラスの不均衡およびオブジェクトサイズの差異は、生成性能にどのような影響を及ぼすか？また、局所的学習によってこれらを緩和できるか？

主な発見

• 提案されたLGGANは、セマンティック画像合成（Cityscapes）およびクロスビュー画像変換（Dayton）ベンチマークの両方で最先端の性能を達成した。
• アブレーションスタディの結果、加法的統合と比較して、畳み込みベースのローカル生成を用いることで、mIoUが3.5向上し、FIDが6.2改善した。
• 分類ベースの特徴学習モジュールを用いることで、ベースラインのローカル生成と比較してmIoUが1.2、FIDが4.3向上し、その有効性が確認された。
• 重みマップ統合戦略により、mIoUが1.4、FIDが3.6向上し、ローカルおよびグローバルブランチの相乗効果が示された。
• 定性的な結果では、GauGANと比較して、アーチファクトが少なく、交通標識や電柱などの小規模な物体および局所的テクスチャの保持が顕著に改善された。
• 学習された特徴マップの可視化により、各ローカルサブ生成器が道路、植生、車両に対して明確に分離されたクラス固有の表現を学習していることが確認された。