[論文レビュー] Dual Pyramid Generative Adversarial Networks for Semantic Image Synthesis

Shijie Li, Ming‐Ming Cheng+1 more|arXiv (Cornell University)|Oct 8, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本論文では、複数スケールにわたり正規化ブロックの条件付けを適応的に制御できる二重エンコーダー構造を用いる、セマンティック画像合成のための新規な生成的敵対ネットワークであるDual Pyramid GAN (DP-GAN) を提案する。特徴マッチングと敵対的損失を統合することで、複数スケールの監視を統合し、小型および大型オブジェクトの生成性を向上させた。DP-GANは、先行手法と比較してFIDを3.6ポイント低減し、mIoUを4.7ポイント向上させ、最先端の性能を達成した。

ABSTRACT

The goal of semantic image synthesis is to generate photo-realistic images from semantic label maps. It is highly relevant for tasks like content generation and image editing. Current state-of-the-art approaches, however, still struggle to generate realistic objects in images at various scales. In particular, small objects tend to fade away and large objects are often generated as collages of patches. In order to address this issue, we propose a Dual Pyramid Generative Adversarial Network (DP-GAN) that learns the conditioning of spatially-adaptive normalization blocks at all scales jointly, such that scale information is bi-directionally used, and it unifies supervision at different scales. Our qualitative and quantitative results show that the proposed approach generates images where small and large objects look more realistic compared to images generated by state-of-the-art methods.

研究の動機と目的

• セマンティックラベルマップから一貫性があり現実的である小型および大型オブジェクトを有する写真のような画像を生成する課題に対処すること。
• スケールに敏感でない条件付けによるパッチ状または色あせたオブジェクトの生成という、既存のGANの限界を克服すること。
• 生成器と識別器の両方における複数スケールの監視を統合し、入力レイアウトとの整合性を高めること。
• 交通標識やボーラードなど細いまたは小さな構造物のオブジェクトレベルの現実性を向上させること。
• 正確なセマンティックアライメントを維持しながら、画像生成における一般化性と多様性を向上させること。

提案手法

• セマンティックコンテキスト用と空間的適応用の2つの並列特徴ピラミッドを用いて、正規化ブロックのスケール適応的条件付けを学習する二重ピラミッド生成器を導入する。
• 複数スケールの敵対的損失（$\mathcal{L}_{ms}$）と複数スケールの特徴マッチング損失（$\mathcal{L}_{fm}$）を用いて、複数スケールの監視を実施するセマンティックベースの識別器を採用する。
• 生成器の正規化層が元のラベルマップとスケールに敏感な特徴ピラミッドの両方の条件付けを受ける二重パスアーキテクチャを採用し、スケール一般化を向上させる。
• 特徴マッチング損失（$\mathcal{L}_{fm}$）を識別器のデコーダーブランチに特に適用することで、実画像との特徴レベルの整合性を向上させる。
• 複数解像度でのピクセル単位のセグメンテーション監視と、敵対的損失および特徴マッチング損失を統合することで、スケール間の監視を統一する。
• ランダムなノイズベクトル $z$ を入力として用いることで、1つのラベルマップに対して複数の現実的な出力を得られるようにする。

実験結果

リサーチクエスチョン

• RQ1 二重ピラミッドアーキテクチャは、オブジェクトのスケールに応じて正規化の条件付けを適応的に調整することで、セマンティック画像合成における小型および大型オブジェクトの生成を向上させることができるか？
• RQ2 生成器と識別器の両方における複数スケールの監視は、入力セマンティックレイアウトとの整合性を高め、現実性を向上させるか？
• RQ3 特徴マッチング損失（$\mathcal{L}_{fm}$）の配置が、セマンティックベースのGANにおける性能にどのように影響するか？
• RQ4 統一された複数スケールのトレーニングフレームワークは、FIDおよびmIoUの両指標において、既存の最先端手法を上回る性能を発揮できるか？
• RQ5 提案手法は、SPADE や OASIS と比較して、パッチ状または色あせたオブジェクトのようなアーティファクトをどの程度低減できるか？

主な発見

• DP-GANはFIDが44.1を達成し、OASIS（47.7）と比較して3.6ポイント改善しており、顕著な画像品質の向上を示している。
• mIoUスコアは73.6に達し、OASIS（69.3）と比較して4.7ポイント向上しており、正解とのセマンティックアライメントが優れていることを示している。
• オブジェクトレベルのmIoUは5.9ポイント向上（61.5から67.4に）し、オブジェクトレベルの現実性と詳細の向上が顕著に見られた。
• 識別器のエンコーダーブランチに多スケール敵対的損失（$\mathcal{L}_{ms}$）を追加すると最良の性能が得られ、FIDとmIoUが向上した。
• 特徴マッチング損失（$\mathcal{L}_{fm}$）をデコーダーに適用するとmIoUが3.7ポイント向上したが、エンコーダーに適用すると性能が劣化した。
• アブレーションスタディの結果、提案された生成器と識別器の組み合わせが不可欠であることが確認され、個別に使用すると最適でない結果となった。