[論文レビュー] Semantic Image Synthesis via Efficient Class-Adaptive Normalization

Zhentao Tan, Dongdong Chen+7 more|arXiv (Cornell University)|Dec 8, 2020

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 5

ひとこと要約

本稿では、セマンティック画像合成におけるSPADEの空間的適応型正規化を置き換える軽量なクラス適応型正規化手法CLADEを提案する。計算コストとパラメータ数を削減しながらも、生成品質を維持する。クラス適応性に焦点を当て、クラス内位置符号化を用いて空間的適応性を強化することで、CLADE-ICPEはSPADEと同等の性能を達成し、大幅なオーバーヘッドを抑える。

ABSTRACT

Spatially-adaptive normalization (SPADE) is remarkably successful recently in conditional semantic image synthesis, which modulates the normalized activation with spatially-varying transformations learned from semantic layouts, to prevent the semantic information from being washed away. Despite its impressive performance, a more thorough understanding of the advantages inside the box is still highly demanded to help reduce the significant computation and parameter overhead introduced by this novel structure. In this paper, from a return-on-investment point of view, we conduct an in-depth analysis of the effectiveness of this spatially-adaptive normalization and observe that its modulation parameters benefit more from semantic-awareness rather than spatial-adaptiveness, especially for high-resolution input masks. Inspired by this observation, we propose class-adaptive normalization (CLADE), a lightweight but equally-effective variant that is only adaptive to semantic class. In order to further improve spatial-adaptiveness, we introduce intra-class positional map encoding calculated from semantic layouts to modulate the normalization parameters of CLADE and propose a truly spatially-adaptive variant of CLADE, namely CLADE-ICPE. %Benefiting from this design, CLADE greatly reduces the computation cost while being able to preserve the semantic information in the generation. Through extensive experiments on multiple challenging datasets, we demonstrate that the proposed CLADE can be generalized to different SPADE-based methods while achieving comparable generation quality compared to SPADE, but it is much more efficient with fewer extra parameters and lower computational cost. The code is available at this https URL

研究の動機と目的

• SPADE、つまり条件付きセマンティック画像合成分野における最先端の空間的適応型正規化手法の計算コストおよびパラメータオーバーヘッドを低減すること。
• SPADEの有効性が、特に高解像度設定下で、セマンティック認識のモジュレーションに起因するのか、それとも空間的適応性に起因するのかを調査すること。
• 高い生成品質を維持しながらリソース使用量を最小限に抑える、より効率的な正規化メカニズムを設計すること。
• クラス適応型正規化に真の空間的適応性を組み込むために、クラス内位置マップ符号化を用いた新たな手法を導入すること。

提案手法

• クラスに依存する正規化（CLADE）を提案する。これは、正規化統計を生成する際に空間的に変化する変換計算を完全に排除し、セマンティッククラスにのみ依存する。
• セマンティックレイアウトから導出されるクラス内位置マップ符号化（ICPE）を導入し、CLADEのパラメータに空間的コンテキストを統合する。
• CLADEとICPEを組み合わせてCLADE-ICPEを構築し、クラス認識と空間的適応性の両方を実現する。
• 既存のアーキテクチャ内のSPADEモジュールを置き換えることで、CLADEベースのモデルをセマンティック画像生成ベンチマーク上でエンドツーエンドに訓練する。
• 各セマンティッククラスに対して学習可能な埋め込みを用い、正規化層でのスケールおよびシフトパラメータを生成する。
• 生成器ネットワークに提案された正規化を適用することで、特徴変換中にセマンティック情報を保持する。

実験結果

リサーチクエスチョン

• RQ1 SPADEの性能向上は、高解像度のセマンティックレイアウトにおいて、主にセマンティック認識の有効性に起因するのか、それとも空間的適応性に起因するのか？
• RQ2 空間的適応性を一切持たないがクラス適応型の正規化手法が、大幅に計算コストを削減しながらもSPADEと同等の生成品質を達成できるか？
• RQ3 高いパラメータ数や計算コストを伴わずに、クラス適応型正規化フレームワークに空間的適応性を効果的に再導入する方法は何か？
• RQ4 CLADEは、異なるSPADEベースの画像生成アーキテクチャに一般化可能であり、一貫した効率性と品質の向上を示せるか？
• RQ5 クラス内位置符号化の影響は、生成画像における空間的詳細の保持にどのような影響を及えるか？

主な発見

• CLADEは、複数のデータセットにおいてSPADEと同等の画像生成品質を維持しながら、計算コストとパラメータオーバーヘッドを削減する。
• アブレーションスタディの結果、高解像度設定下ではセマンティック認識の寄与が空間的適応性の寄与よりも顕著に大きいことが確認された。
• クラス内位置符号化を用いて空間的適応性を効果的に再導入することで、CLADE-ICPEはSPADEと同等の性能を達成した。
• 本手法は異なるSPADEベースのアーキテクチャに広く一般化可能であり、強靭性と転送可能性を示した。
• 提案手法は、より少ないパラメータ数と低いFLOPsで最先端の効率性を達成し、リアルタイムまたはリソース制限のある環境への応用に適している。