[論文レビュー] Semantically Multi-modal Image Synthesis

Zhen Zhu, Zhiliang Xu+2 more|arXiv (Cornell University)|Mar 28, 2020

Generative Adversarial Networks and Image Synthesis参考文献 59被引用数 4

ひとこと要約

本稿では、セマンティックラベルから多様で制御可能な画像を高精細に生成できる、GroupDNetと呼ばれる新しいジェネレータアーキテクチャを提案する。このアーキテクチャは、デコーダーでグループ数を段階的に減少させるグループ畳み込みを用いることで、セマンティックモード間の相関関係（例：草と葉の色の整合性）をモデル化し、細分化された制御を可能にする。本手法はDeepFashionおよびCityscapesで最先端の画像品質を達成し、特にADE20Kのような大規模クラス数のデータセットにおいても高精細性を維持しながら、セマンティックパーツの制御性を優れている。

ABSTRACT

In this paper, we focus on semantically multi-modal image synthesis (SMIS) task, namely, generating multi-modal images at the semantic level. Previous work seeks to use multiple class-specific generators, constraining its usage in datasets with a small number of classes. We instead propose a novel Group Decreasing Network (GroupDNet) that leverages group convolutions in the generator and progressively decreases the group numbers of the convolutions in the decoder. Consequently, GroupDNet is armed with much more controllability on translating semantic labels to natural images and has plausible high-quality yields for datasets with many classes. Experiments on several challenging datasets demonstrate the superiority of GroupDNet on performing the SMIS task. We also show that GroupDNet is capable of performing a wide range of interesting synthesis applications. Codes and models are available at: https://github.com/Seanseattle/SMIS.

研究の動機と目的

• 複数のクラスが関与する状況において、既存手法がセマンティックラベルから多様で制御可能な画像を生成する能力に限界を示しているのを是正すること。
• マルチモーダル画像生成における複数のクラス固有ジェネレータの非効率性とスケーラビリティの問題を克服すること。
• 1つのパーツを変更しても他のパーツに影響を与えない、ユーザー制御可能なセマンティックレベルの編集を可能にしながら、画像の品質と一貫性を維持すること。
• ADE20Kのような多数のセマンティッククラスを含むデータセットに対しても、モデルの効率性とスケーラビリティを向上させること。
• 外見の混合、セマンティック操作、スタイルのモーフィングといった多様な応用をサポートする統合型ジェネレータモデルを開発すること。

提案手法

• ジェネレータ内のすべての標準畳み込みをグループ畳み込みに置き換えることで、クラス固有の特徴学習と制御を可能にする。
• デコーダーの畳み込みでグループ数を段階的に減少させることで、クラス間相関（例：草と葉の色の整合性）をモデル化する。
• 推論時に異なるセマンティックパーツを独立して制御できる、グループ畳み込み層を備えた統合ジェネレータを用いる。
• 実画像からスタイルコードを抽出するエンコーダーを活用し、スタイル転送やモーフィングの応用を可能にする。
• 敵対的損失、L1損失、知覚的損失を組み合わせたGANベースのフレームワークでモデルを訓練し、リアルさと忠実度を確保する。
• SPADEと同様の条件付き画像生成パイプラインにGroupDNetジェネレータを統合し、一貫性のある訓練と評価を実現する。

実験結果

リサーチクエスチョン

• RQ1 グループ畳み込みとデコーダーでのグループ数の減少を組み合わせた統合ジェネレータは、複数のクラス固有ジェネレータに比べ、マルチモーダル画像生成における制御性を向上させられるか？
• RQ2 デコーダーにおけるグループ数の段階的減少は、クラス間相関のモデル化と画像品質にどのように影響するか？
• RQ3 GroupDNetは、個々の画像パーツに対する細分化されたセマンティックレベルの制御を可能にしつつ、高い画像品質を維持できるか？
• RQ4 GroupDNetは、外見の混合、セマンティック操作、スタイルモーフィングといった多様な応用に一般化できるか？
• RQ5 ADE20Kのような大規模データセットにおいて、GroupDNetはFID、mIoU、精度の観点で最先端手法と比較してどのように差をつけるか？

主な発見

• GroupDNetはDeepFashion（FID 9.50）およびCityscapes（FID 49.81）で最先端のFIDスコアを達成し、SPADEや他のSOTA手法と同等またはそれを上回っている。
• ADE20Kデータセットでは、mIoUが30.4、精度が77.1を達成し、クラス数が多いにもかかわらず、すべてのベースラインを上回っている。
• 本手法は優れた制御性を示しており、衣類などの1つのセマンティックパーツを変更しても他のパーツに影響しないことが、定性的な結果で裏付けられている。
• GroupDNetは、外見の混合（1枚のマスクから数千種類の異なる人物画像を生成）、セマンティック操作（例：ベッドの挿入）、スタイルモーフィングといった新規な応用を可能にしている。
• 複数ジェネレータアプローチに比べ、学習および推論コストを削減でき、推論速度はベースラインのほぼ2倍にまで向上している。
• 提案されたmCSDおよびmOCD指標により、GroupDNetがターゲットクラスにおいて高い多様性を生成しながらも、他のクラスでは低い多様性を維持していることが確認され、正確な制御が実現していることが示された。