[論文レビュー] Rethinking Spatially-Adaptive Normalization

Zhentao Tan, Dongdong Chen+6 more|arXiv (Cornell University)|Apr 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 21被引用数 15

ひとこと要約

本稿では、セマンティック画像合成における空間的適応正規化（SPADE）の置き換えとして、軽量なクラス適応型正規化層であるCLADEを提案する。SPADEとは異なり、深層の変調ネットワークを介して空間的位置に応じて正規化パラメータを適応させるのではなく、CLADEは特徴量をセマンティッククラスに基づいてのみ変調することで、計算量とパラメータのオーバーヘッドを著しく削減しながらも、同等の視覚的忠実度を維持する。ADE20kにおいて、CLADEはパラメータを4.57%増加するのみで、SPADEの39.21%に比べて大幅に少ない。FLOPsはSPADEの234.73%に対し、0.07%増加にとどまる。

ABSTRACT

Spatially-adaptive normalization is remarkably successful recently in conditional semantic image synthesis, which modulates the normalized activation with spatially-varying transformations learned from semantic layouts, to preserve the semantic information from being washed away. Despite its impressive performance, a more thorough understanding of the true advantages inside the box is still highly demanded, to help reduce the significant computation and parameter overheads introduced by these new structures. In this paper, from a return-on-investment point of view, we present a deep analysis of the effectiveness of SPADE and observe that its advantages actually come mainly from its semantic-awareness rather than the spatial-adaptiveness. Inspired by this point, we propose class-adaptive normalization (CLADE), a lightweight variant that is not adaptive to spatial positions or layouts. Benefited from this design, CLADE greatly reduces the computation cost while still being able to preserve the semantic information during the generation. Extensive experiments on multiple challenging datasets demonstrate that while the resulting fidelity is on par with SPADE, its overhead is much cheaper than SPADE. Take the generator for ADE20k dataset as an example, the extra parameter and computation cost introduced by CLADE are only 4.57% and 0.07% while that of SPADE are 39.21% and 234.73% respectively.

研究の動機と目的

• SPADEがセマンティック画像合成で成功を収める真の要因を解明すること。
• SPADEの空間的適応型変調メカニズムが引き起こす高い計算コストおよびパラメータオーバーヘッドを低減すること。
• 空間的適応性を排除したとしても、セマンティック認識のみで十分にセマンティック情報を保持できるかを検証すること。
• 最小限の計算コストで高い視覚的忠実度を維持するより効率的な正規化層を設計すること。
• 条件付き画像生成のための実用的で軽量なSPADEの代替案を提供すること。

提案手法

• セマンティックマスクから導出されたクラス固有の統計を用いて、バッチ正規化された特徴量を変調する正規化層であるCLADEを提案する。この変調は空間的位置とは無関係に実行される。
• 生成器内のすべてのSPADEブロックをCLADEブロックに置き換え、2層の深層変調ネットワークの必要性を排除する。
• 各特徴マップの位置におけるセマンティッククラスラベルを用いてスケールおよびシフトパラメータを決定し、空間的に変化するのではなく、クラスごとに適応させる。
• 条件付きGANフレームワークにCLADEを統合し、非条件生成およびスタイルガイドド生成の両方をサポートする。
• 敵対的損失および知覚的損失を用いて、SPADEと同一の訓練設定でモデルをエンドツーエンドに訓練する。
• 異なるノイズベクトルまたはリファレンススタイル画像を生成器に供給することで、マルチモーダルな合成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 SPADEの性能向上の真の要因は、空間的適応性か、セマンティック認識か？
• RQ2 空間的適応性を欠いたがクラス適応型の正規化層が、大幅に計算コストを削減しながらもSPADEと同等の性能を達成できるか？
• RQ3 SPADEから空間的適応性を除去すると、視覚的品質やレイアウトの整合性に顕著な低下が生じるか？
• RQ4 CLADEのパラメータおよびFLOPsのオーバーヘッドは、SPADEおよびベースライン手法と比較して、多様なデータセットでどのように異なるか？
• RQ5 CLADEはSPADEと同等にマルチモーダルおよびスタイルガイドド画像合成を効果的に行えるか？

主な発見

• CLADEは、ADE20k、COCO-Stuff、Cityscapesを含む複数のデータセットでSPADEと同等の視覚的忠実度を達成する。
• ADE20kデータセットにおいて、CLADEはパラメータを4.57%増加するのみで、SPADEの39.21%に比べて著しく少ない。FLOPsはSPADEの234.73%に対し、0.07%増加にとどまる。
• CLADEはモデルサイズをSPADEの約74%にまで縮小し、FLOPsを4倍に削減することで、推論速度が約2倍向上する。
• ユーザー評価ではCLADEとSPADEに顕著な差はなく、ADE20kでは48.375%がCLADEをSPADEよりも好む結果となり、同等の知覚的品質を示している。
• CLADEはPix2pixHDを上回るユーザー評価を得ており、特にCOCO-Stuffでは95%がCLADEを好む結果となり、優れたリアルリズムを示している。
• CLADEはマルチモーダルおよびスタイルガイドド合成を効果的にサポートし、異なるノイズベクトルやリファレンス画像を用いて多様で現実的な出力を生成できる。