[論文レビュー] Attentive Normalization for Conditional Image Generation

Yi Wang, Ying-Cong Chen+3 more|arXiv (Cornell University)|Apr 8, 2020

Generative Adversarial Networks and Image Synthesis参考文献 57被引用数 5

ひとこと要約

本論文は、特徴マップから意味的レイアウトを学習し、意味的に整合性のある領域内でインスタンス正規化を適用することによって、条件付き画像生成における長距離依存関係のモデリングを向上させる、新しい正規化モジュールであるAttentive Normalization (AN)を提案する。ANは、ImageNet (128×128) のクラス条件付き生成において、自己注意GAN (18.65) を上回る最先端のFID 17.84を達成し、顕著に低い計算コストを実現する。

ABSTRACT

Traditional convolution-based generative adversarial networks synthesize images based on hierarchical local operations, where long-range dependency relation is implicitly modeled with a Markov chain. It is still not sufficient for categories with complicated structures. In this paper, we characterize long-range dependence with attentive normalization (AN), which is an extension to traditional instance normalization. Specifically, the input feature map is softly divided into several regions based on its internal semantic similarity, which are respectively normalized. It enhances consistency between distant regions with semantic correspondence. Compared with self-attention GAN, our attentive normalization does not need to measure the correlation of all locations, and thus can be directly applied to large-size feature maps without much computational burden. Extensive experiments on class-conditional image generation and semantic inpainting verify the efficacy of our proposed module.

研究の動機と目的

• 複雑な構造的画像における畳み込みネットワークの長距離空間的依存関係モデリングの限界を解決すること。
• 画像生成中の大規模な特徴マップにおける自己注意メカニズムの高い計算コストを克服すること。
• 遠く離れた領域間の意味的対応を明示的にモデリングすることで、生成画像の意味的整合性と構造的一致性を向上させること。
• 標準的なインスタンス正規化による空間的劣化を低減しつつ、高レベルの意味的特徴を保持・強化する正規化技術を開発すること。
• 大規模な画像生成およびインpaintingタスクに適した、効率的かつスケーラブルな長距離モデリングを可能にすること。

提案手法

• 意味的エンティティクラスタリングに基づく学習可能なモジュールを用いて、入力特徴マップから意味的レイアウトを予測する、Attentive Normalization (AN) を提案する。
• 自発的サンプリング正則化 (SSR) を用いて、自明な意味的レイアウト予測を防ぎ、意味のある領域分割を保証する。
• 各意味的領域内で独立してインスタンス正規化を適用することで、特徴分布のcompact化を図り、領域間の意味的整合性を向上させる。
• 既存のGANアーキテクチャにANをプラグインモジュールとして統合し、標準的な正規化層の置き換えや補完を行う。
• 意味的エンティティ数 $ n $ を用いて領域分割の細かさを制御し、性能と効率のバランスを考慮して $ n=16 $ を選定する。
• 完全なペairwise自己注意計算を避けることで、局所的で領域ベースの正規化に依存することにより、計算効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な意味的レイアウト予測は、条件付き画像生成における長距離特徴依存関係モデリングを改善できるか？
• RQ2 意味的類似性に基づく領域内インスタンス正規化は、生成画像の構造的一致性と意味的対応を向上させるか？
• RQ3 ANは、自己注意GANと比較して同等または優れた性能を達成しつつ、顕著に計算コストを低減できるか？
• RQ4 意味的エンティティ数 $ n $ は、生成画像の品質と効率にどのように影響するか？
• RQ5 自己サンプリング正則化は、学習された意味的レイアウトの品質および下流の生成結果にどの程度向上効果をもたらすか？

主な発見

• Attentive Normalizationは、ImageNet (128×128) のクラス条件付き画像生成において、Frechet Inception Distance (FID) 17.84を達成し、自己注意GAN (18.65) や長距離モデリングを備えないベースラインモデル (22.96) を上回る。
• 同じモデル容量とトレーニング設定下で、$ n=16 $ 時にInception Score (IS) が46.57に向上し、FIDが17.84に低下する。これは、画像品質と多様性の優位性を示している。
• アブレーションスタディにより、自己サンプリング正則化 (SSR) が極めて重要であることが確認された。SSRを除去するとFIDが23.58に上昇し、標準的なインスタンス正規化とほぼ同等の性能に近づく。
• ANは優れた計算効率を示す。1024×1024解像度では、ANは37.68msで実行可能であるのに対し、自己注意はGPUのOOMにより測定不能であり、ANは線形にスケーリングされ、自己注意は2乗的に増加する。
• パリストリートビューにおける生成画像インpaintingでは、ANがPSNR 25.09、SSIM 0.8541、MAE 0.0334を達成し、視覚的品質と定量的指標の両面でCAベースラインを上回る。
• アブレーションにより、インスタンス正規化 (IN) がバッチ正規化 (BN) よりも優れていることが示された。FIDはINで17.84、BNで19.59であり、INがこのタスクに適していることが確認された。